В 1921–1935 годы заведующим музея был художник и график Всеволод Левандовский, выпускник Академии художеств. Ему удалось сохранить ценности из усадеб Калужской губернии в послереволюционные годы и таким образом обогатить собрание музея. 

 
Позднее, в годы Отечественной войны, часть коллекции все же была утрачена из-за невозможности вывоза за пределы области, тем не менее, благодаря сотруднику музея Николаю Маслову, спрятавшему ящики с ценными экспонатами, часть ее была сохранена. Осенью 1944 года Калужский музей вновь открыл свои двери для посетителей. 

 
В настоящее время музей располагается в здании городской усадьбы Билибиных-Чистоклетовых, памятнике архитектуры начала XIX века, объекте культурного наследия федерального значения. В филиалы музея входят: Тарусская, Хвастовичская, Мосальская, Ульяновская картинная галереи, Информационно-образовательный и выставочный центр в Калуге.