В 1705 году была построена деревянная церковь, а в 1727 году заложен каменный собор. Первый этаж собора был освящён в 1747 году, второй — в 1763 году. Смоленский собор был заложен в 1737 году высокопреосвященным Петром, архиепископом Белгородским. Архитектурный облик храма основательно изменился в XIX столетии после перестройки. Собор изначально имел 2 престола: нижний — Смоленской иконы Пресвятой Богородицы (Одигитрии), верхний — святых апостолов Петра и Павла.

 В XIX веке собор подвергался капитальной перестройке. Перед его главным входом была сделана каменная пристройка с лестницами, убраны боковые открытые лестницы и арочные проемы, в которых они размещались. Переделаны также оконные арочные проемы. Срубили кирпичный наличники и заменили на новые.

 
Храм украшался на средства белгородских прихожан. В 1825 году на средства купца Михаила Константиновича Мачурина верхний храм был отделан мрамором. В 1839 году в храме был освящен третий престол во имя Архистратига Михаила, небесного покровителя купца-благотворителя. При храме действовала церковно-приходская школа.

 
В 20-х годах XX века храм был закрыт и разграблен и долгие годы находился в запустении. Когда прекратились службы, в стенах собора стали устраивать склады, в том числе нанёсший огромный ущерб алтарю первого этажа склад химикатов.

В годы Великой Отечественной войны Смоленский собор, как и многие другие городские сооружения в Белгороде, сильно пострадал. Однако постройка выстояла под артиллерийским огнем.