Время строительства «Большого земского дома» неизвестно. В нём на первом этаже размещались камеры для заключённых, арестованных по приговору мировых судей, а на втором — уездный съезд. В 1899 году в здание переехала земская управа. На втором этаже разместились канцелярия уездного предводителя дворянства, воинское присутствие, уездный съезд и опека, уездный училищный совет.
В октябре 1903 года здесь была установлена первая на Белгородчине телефонная станция и телефон шведской фирмы «Эрикссон». В 1919 году в здании размещались Белгородский революционный комитет. С 1922 года второй этаж здания занимали почта, телеграф и городской телефон, а на первом разместилось уездное земельное управление. В 1930 году в бывшей уездной земской управе начал работать Белгородский государственный украинский педагогический институт. Он был открыт на базе украинского отделения Воронежского педагогического института. До Великой Отечественной войны в доме размещался Белгородский райисполком, финансовый отдел, отдел здравоохранения, библиотека.
1 августа 1941 года в здании был развернут военный госпиталь № 2729. 5 августа 1943 года воины 89-й гвардейской дивизии водрузили на крыше здания красный флаг. После 1950 года в здании размещались Белгородский горком КПСС и горисполком. В 1955 году надстроили третий этаж. В начале 1960-х годов в доме размещался Белгородский обком ВЛКСМ.
Является объектом культурного наследия регионального значения.