Слобода Ракитное перешла во владение князю Григорию Дмитриевичу Юсупову — герою Полтавской битвы, подполковнику лейб-гвардии Преображенского полка, в 1729 году. Князья Юсуповы оставили яркий след в истории Ракитного. Здесь находился центр управления их обширными имениями в Курской, Воронежской, Харьковской и Полтавской губерниях. Помимо дворца и парка, сохранившегося до наших дней, владельцы построили тут сахарный, кирпичный заводы, суконную, ковровую и кружевную фабрики, множество мастерских, лесопилки, скотные фермы, мельницы и кузницы, ипподром, а также две церкви, две школы, больницу, проложили железную дорогу и провели телефон. 

В настоящее время двухэтажный дворец, построенный в 1840 году, является памятником архитектуры и открыт для посещения.