Здание возводили крепостные Юсупова в течение шести лет. Проект дворца по личной просьбе князя выполнил известный итальянский архитектор Джакомо Флоренти. В архитектуре дворца использованы приемы классицизма, элементы барокко и формы русского зодчества. Парадный зал с фасада выделяют три больших килевидных окна второго этажа и длинный балкон с ажурным ограждением из кованого металла.

 
В Ракитном семья Юсуповых бывала ежегодно. Зимой они жили в Петербурге и Москве, летом — в Архангельском, осенью приезжали в Ракитное, а в конце октября отправлялись в Крым.

 
На территории усадьбы также благоустроили парк: разбили аллеи, установили фонтаны, высадили фруктовый сад. В парке заложили каскадные пруды, а также мужскую и женскую купели, которые соединялись мостиком любви.

 
Общая площадь дома составляла 1340 квадратных метров. Он делился на две половины: в одной останавливались хозяева, другая отводилась для канцелярии. За большим хозяйством требовалось постоянно присматривать. Ракитное стало центром управления имениями князей в Курской, Воронежской, Харьковской и Полтавской губерниях.

 
На фотографии запечатлено внутреннее убранство гостиной, которую Юсуповы называли зеленой комнатой. Здесь князья принимали высокопоставленных гостей. Великий князь Сергей Романов с супругой Елизаветой часто приезжали в имение на охоту, а по вечерам играли с хозяевами в карты именно в этой комнате. Воспоминания о посещении Слободы Ракитной сохранились в дневниках великого князя.

 
Внешний вид усадьбы в юсуповские времена сохранился на фотографиях начала XX века — периода, когда хозяйкой имения была княгиня Зинаида Юсупова. Эти снимки музею предоставила хранитель коллекций петербургского Юсуповского дворца на Мойке Валентина Набок.