Свенский мужской монастырь основал первый брянский князь — Роман Михайлович по прозвищу Старый. По легенде, князь внезапно стал терять зрение и отправил гонцов в Киев за Печерской иконой Божией матери, которая должна была его исцелить. Когда посланники плыли по Десне и остановились на ночлег рядом с местом, где в Десну впадает река Свень, образ вдруг исчез из ладьи и был найден после долгих поисков на высоком дереве. Снять икону смогли только после того, как из находившегося неподалеку Брянска прибыл князь Роман Михайлович, получивший после молитвенного обращения к образу Богородицы исцеление от слепоты. После этого, как сообщают предания, князь велел построить на этом месте монастырь. Икона же получила название Свенской-Печерской, она хранилась в обители.

Первый храм в Свенском монастыре был деревянным. Старинные легенды рассказывают, что князь и его приближенные бояре сами рубили и тесали бревна для строительства. Когда деревянная церковь обветшала, на ее месте возвели новый Успенский собор. Он стал первым каменным зданием в окрестностях Брянска. Строительство началось в 1561 году, а завершилось около 1578-го. Руководил работами зодчий Гавриил Маков, он же возводил собор Белая Троица в Твери. Пятиглавый Успенский храм покрывала тесовая кровля, а у каждого из трех входов располагались деревянные паперти.

После революции Свенский мужской монастырь закрыли, а в 1930 году Успенский собор взорвали. Его двери, однако, сохранились до наших дней: створы северного и западного входов сейчас хранятся в музее усадьбы Коломенское, а южная дверь представлена в коллекции «Брянские древности».