Музей был учрежден 2 октября 1996 года. Его торжественное открытие состоялось в том же году в ознаменование 300-летия российского флота.
Неоценимую помощь на ранних этапах оказал военно-исторический музей Краснознаменного Северного флота, передав во временное хранение предметы и фотографии, рассказывающие о прошлом столицы флота. На некоторое время они составили основу зала боевой славы Северного флота. Спустя два года музею были переданы экспонаты комнаты трудовой славы флотских строителей, которые послужили основой для создания новой экспозиции, посвященной строительству города.