На одной из открыток из коллекции мемориального Дома-музея Владимира Русанова изображена Первая мужская классическая гимназия, которую окончил Владимир Русанов.
Орловская классическая гимназия была образована из Главного народного училища 17 марта 1808 года. Каменное двухэтажное здание было выстроено в 1796 году специально для Орловского главного народного училища, но оказалось вполне приемлемым и для гимназии. Однако с преобразованием последней в 1833 году (по Уставу 1828 года) в четырехклассную оно уже не было достаточно просторным для увеличившегося числа учащихся, включая и учащихся благородного пансиона. В 1850 году в гимназии учились 153 человека (из них 124 — дворянских детей). После открытия в 1861 году трех низших параллельных классов в ней насчитывалось уже 244 человека (из них дворян — 196, из духовного сословия — 9; остальные из сословий податных состояний). В 1861 году на расширение здания было сделано пожертвование карачевским дворянином гвардии ротмистром Николаем Киреевским.
Продолжительность обучения в гимназии составляла восемь лет. Последние три года обучение хотя и проходило на одном из двух отделений — филологическом или естественно-математическом, но знания, даваемые на каждом отделении, носили общеобразовательный, а не специальный характер. Среди предметов — Закон Божий, русский, латинский, греческий языки, математика, естествознание и физика, история, география, немецкий и французский языки, рисование, черчение и чистописание.
По уставу гимназий и прогимназий (утвержден 19 ноября 1864 года) гимназии были разделены на общие и классические. Орловская гимназия 17 марта 1863 года стала классической — семиклассной с восьмилетним курсом обучения (седьмой класс делился на два года). Выпускники классических гимназий имели право поступления в университет. В 1867 году в здании гимназии на средства Николая Киреевского была устроена Александро-Невская церковь.
Высокий уровень знаний, получаемых гимназистами, обеспечивался не только преподавателями, но и тремя гимназическими библиотеками: фундаментальной, ученической и пансионной. Отличная учеба в гимназии стимулировалась именными стипендиями: императора, гвардии полковника Николая Киреевского, пожертвовавшего на гимназию 16,5 тысяч рублей, купца Байковского и других лиц. В гимназии отсутствовала практика телесных наказаний; наиболее распространенным взысканием было «оставление на один час в гимназии после уроков с оповещением об этом родителей» за «грубое объяснение» с учителем или воспитателем.