Александро-Невская церковь была построена в 1870 году на деньги местного купца и благотворителя Ивана Безбородова. Небольшое кирпичное сооружение в псевдорусском стиле возвели на территории городской тюрьмы. Строили церковь по проекту Н.А. Артлебина. А освятили ее во имя Святого благоверного князя Александра Невского. Стояла церковь под медной крышей о трех куполах (время от времени медь натирали кирпичом, чтоб сверкало)
Александровский храм был приписан к Свято-Екатерининскому собору. Клирики духовно окормляли не только обычных прихожан, но и арестантов. Для свободных горожан был предусмотрен отдельный вход, заключённые же попадали внутрь напрямую из тюрьмы через специальный коридор.