Мраморный дворец возводился итальянским архитектором Антонио Ринальди по заказу императрицы Екатерины II и предназначался для графа Григория Орлова,

По желанию первого владельца дворца, восхищавшегося талантом Ринальди, на стене напротив входа был установлен портрет зодчего.

В 1832 году во владение дворцом вступил великий князь Константин Николаевич, второй сын императора Николая I, меценат и коллекционер. Многие живописные произведения из его коллекций находятся в собрании Русского музея. 

В 1892–1915 годах владельцем Мраморного дворца был сын Константина Николаевича — Константин Константинович Романов, президент Российской Академии наук, известный поэт и переводчик произведений Гете, Шиллера, Шекспира. 

С 1919 по 1936 год в Мраморном дворце размещалась Государственная Академия истории материальной культуры и Государственный музейный фонд. 

Совершенно новый период в истории Мраморного дворца начался в декабре 1991 года, когда решением Мэрии Санкт-Петербурга дворец передали в распоряжение Русского музея.

Русским музеем была разработана новая концепция экспозиции Мраморного дворца — «Русское искусство в контексте искусства мирового», в результате которой в 1995 году в Мраморном дворце открылся Музей Людвига.