Появление в Белгороде Смоленского собора связано с чудом, явленным иконой Богоматери Смоленской.

В XVII веке благочестивый белгородец Семизоров дал обет поставить на Восточных воротах городской крепости киот с этой иконой, украшенной серебряной ризой. Надвратный образ оставался там долгое время, и в ночь с 1 на 2 октября 1703 года от него начало исходить чудесное свечение. Свет заметил караульный Мефодий Иванов и наутро рассказал о виденном знамении. Вняв знаку, на этом месте поставили часовню, а через два года — церковь, нареченную Смоленской.

В 1727 году архиепископ Белгородский Пётр благословил заложить взамен обветшавшей деревянной церкви каменный храм в два этажа. В 1743 году произошло освящение нижнего престола во имя Смоленской Богоматери Одигитрии, в 1763 году — верхнего, в честь первоверховных апостолов Петра и Павла.

В 1825 году на пожертвованные средства купца Михаила Константиновича Мачурина верхний храм украсили мраморной отделкой. Вскоре появился третий престол — Архангела Михаила. Изначально храм был выстроен в зодческих традициях Слободской Украины конца XVII столетия.

При перестройке в XIX веке (в 1859 и 1862 годах) облик постройки сильно изменился. В первый раз пышные барочные наличники, карнизы и порталы скрылись под штукатуркой. Во второй (по «Высочайше утвержденному проекту») поставили новую западную пристройку, восьмерику придали форму ротонды, в сводах установили резонаторы-«голосники».

В 1920-х годах храм был разграблен, в его помещении устроены склады, но прихожане продолжали приходить туда для молитвы. В 1936 году Смоленский храм, как и многие другие церкви города, закрыли. После этого трижды он мог погибнуть: едва уцелел под артобстрелом в 1943 году, чуть не был взорван в 1958 и 1974 годах: в последний раз положение спасло близкое расположение школы, которая пострадала от упавших во время пробного взрыва кирпичей.