Старое кладбище начало действовать в семидесятые годы XVIII века. В 1799 году здесь была построена кладбищенская Николаевская церковь. На этом кладбище похоронено около 75 тысяч жителей Белгорода, в числе которых есть белгородские городские головы и городничие, гласные городской Думы и бургомистры, дворяне и купцы, крестьяне и мещане, священники и церковнослужители. В середине XIX века на этом кладбище был похоронен купец 2-й гильдии, почетный гражданин, известный меценат и благотворитель Н. И. Чумичов, в 1874 году — Н. Е. Муханов — представитель старинного дворянского рода, прадед выдающегося ученого-физика и правозащитника А. Д. Сахарова. В метрической книге Смоленского собора за 1834 год есть запись о том, что на Старом городском кладбище похоронен отец известного литературного критика и философа Н. Н. Страхова.
В годы Гражданской войны на городском кладбище хоронили погибших красноармейцев, солдат и офицеров армии генерала Деникина, в годы Великой Отечественной воины — советских солдат, умерших от ран в Белгородских госпиталях. В числе захоронений военного времени — могила железнодорожников, погибших при тушении пожара на станции Белгород в 1943 году, возникшего после налета вражеской авиации, когда в борьбе с огнем погибли более 100 железнодорожников.
В настоящее время на кладбище сохранилось более 50 старинных памятников, относящихся к ХIХ — началу ХХ веков.