Ранее портрет находился в подмосковной усадьбе Марфино в собрании графа Н.П. Панина (вероятно, был вывезен из-за границы), затем у московского предпринимателя, благотворителя, коллекционера Л.К. Зубалова в Москве. После смерти Л.К. Зубалова его коллекции были переданы женой Ольгой Ивановной и сыном Львом Львовичем в Румянцевский музей.
Традиционно автором портрета считается выдающийся французский портретист Никола де Ларжильер. Под именем Ларжильера портрет значится в каталогах музея. Имя художника представляет одно из наиболее ярких явлений во французском портрете XVIII в.
При закрытия музея в 1923 картины западноевропейских мастеров поступили в Музей изящных искусств, а русских художников — в Третьяковскую галерею, часть произведений попала в Государственный музейный фонд, в том числе и «Портрет канцлера д' Агессо» (о чём свидетельствует печать на обороте картины), который был передан благодаря Н.Г. Машковцеву в Вятский губернский музей искусства и старины.
Традиционно автором портрета считается выдающийся французский портретист Никола де Ларжильер. Под именем Ларжильера портрет значится в каталогах музея. Имя художника представляет одно из наиболее ярких явлений во французском портрете XVIII в.