Деревянная Успенская церковь была возведена в 1398 году. Со временем она обветшала и перестала вмещать всех прихожан. Церковь решили перестроить. Новое здание собора, также деревянное, сгорело во время пожара между 1462 и 1497 годами. Сохранившийся до наших дней каменный храм возведен по указу Ивана Грозного, сохранилась порядная грамота на строительство храма. Зодчие были ростовские, звали их Горяин Григорьев Царев и Третьяк Борисов Ростовка. Строительство храма обошлось в 90 рублей. В северо-западном углу храма была сооружена звонница с часами. Внутренняя лестница в северо-западной стене вела в часовую палату, расположенную под сводами собора. В полу палаты есть небольшое отверстие для опускания гирь часов, переходящее в идущий почти до самой земли каменный колодец. Часовая палата перекрыта сводом, над которым возвышалась звонница с четырьмя массивными столбами. Часовую палату часто путают с «кельей столпника».

В Смутное время Успенский храм подвергся разорению и поруганию: в нем ставили лошадей и разводили огонь. Свидетельством этого предание называет след от конской подковы на местной иконе Тихвинской Божией Матери и торчащую из стены под потолком в алтаре обгоревшую деревянную балку.

В Выписке из Белозерских писцовых книг 1670-х годов сказано: «На посаде церковь каменная о пяти главах во имя Успение Пречистыя Богородицы, а в ней приделы: придел Алексея Митрополита, другой придел Входа во Иерусалим Господа Бога и Спаса нашего Иисуса Христа; на церкве главы крытые чешуею деревянною; церковь крыта тесом». Один из приделов храма расположен в юго-западной части храма, и попасть в него можно по внутренней лестнице через дверь в южной стене. Наличие в храме этого придела давало основу для легенд о содержании в нем именитых узников, в том числе Ксении Годуновой.

Успенский храм — холодный, неотапливаемый. Службы здесь проходили только в тёплое время суток. В конце XVIII веке рядом с ним вместо деревянного построен сохранившийся до наших дней теплый (зимний) каменный храм во имя Богоявления Господня, они составляют единый архитектурный ансамбль. В это же время произошла перестройка храма. Был пристроен притвор — часть перед входом в храм, кровля переделана на четырехскатную, главы получили луковичную форму и железное покрытие, были увенчаны коваными крестами. Создан новый барочный иконостас, на котором закрепили и многие старые иконы. Этот иконостас с резьбой и лепниной сохранился до наших дней.
В 2012 году были выполнены реставрационные работы по кровле и фасадам храма. В настоящее время является действующим летним храмом.