В 1470-е гг. по воле нового наместника — Эрика Аксельссона Тотта, вокруг города построили каменную стену с башнями. Общая длина стены — около 2х километров. Во всей Швеции только 4 города имели такую оборонительную стену.

Сегодня стена почти полностью утрачена. От неё сохранилась лишь одна башня, которая называется ратушной или Башней Совета.

В 1495 году стена испытала первую осаду. Многочисленные и хорошо вооруженные русские войска по приказу Ивана 3 подошли к Выборгу. После длительной осады 30 ноября начался штурм стены, в результате чего русские смогли захватить верхний ярус башни Св. Андреаса. Наместник Выборга, Кнут Поссе, приказывает собрать весь оставшийся порох в крепости и взорвать его в башне. Прогремел оглушительный взрыв и русские солдаты, находившиеся в башне, погибли. Это произвело настолько устрашающее действие, что русские войска отошли от Выборга.