Белгородская мужская гимназия была открыта по ходатайству городского общества и земства 26 августа 1874 г. в составе низших 4-х классов и приготовительного. В 1879 г. на Базарной (Георгиевской) площади для гимназии было построено специальное здание. Это был самый красивый в Белгороде дом в два с половиною этажа, сочетающий различные архитектурные стили. Занятия в новом здании начались во второй половине 1880 г. Классы, расположенные в верхнем и нижнем этажах, были хорошо оборудованы, в них имелось достаточное количество наглядных пособий.

При гимназии находился гимнастический зал, сооруженный на пожертвования помещицы С.А. Мустяц, где гимназисты занимались гимнастикой. В нем имелись все необходимые для занятий спортивные принадлежности: американские и шведские турники, брусья, гири, мячи, кегли и многое другое. Во дворе гимназии также была возможность заниматься в летнее время.

Финансировалась гимназия из Государственного казначейства, которое ежегодно выделяло от 14 до 15 тысяч рублей, а также городом и земством, платившими по 5 тысяч рублей. Кроме того, с каждого гимназиста взималась плата за обучение в размере 50 рублей. Для освобождения беднейших учеников от этой платы имелось 4 городских стипендии, которые замещались по выбору думы. Имелись стипендии на процент с капиталов, собранных в память императора Александра III и директора Фукса. При гимназии существовало общество пособия бедным учащимся, которое ежегодно устраивало спектакли силами мужской и женской гимназии.

Первым директором был назначен коллежский советник, кандидат историко-филологического факультета Харьковского университета Николай Филиппович Одарченко (1874—1883).