Строительство особняка на Арбате началось в 1777 году по плану архитектора Василия Обухова. С 1806 году владельцем дома стал губернский секретарь, коллежский асессор Никанор Семенович Хитрово. Во время пожара 1812 года дом полностью сгорел, но его вновь отстроили к 1816 году.
Известно, что А.С. Пушкин незадолго до свадьбы в 1831 году заключил договор о найме части жилых помещений этого дома. Он снял на полгода за две тысячи рублей ассигнациями комнаты второго этажа, антресоли, конюшню, каретный сарай, кухню и нанял прислугу.
На втором этаже здания, где находилась квартира поэта, проходил свадебный ужин. В этом же здании Пушкины проводили свой первый бал.
Не прожив запланированного срока, 15 мая 1831 года чета Пушкиных уехала в Царское Село, где для них была нанята дача. В арбатской квартире Александр и Наталья Пушкины провели три первых счастливых месяца супружеской жизни.