Портрет Петра Андреевича Толстого — не только фамильная ценность, но и памятник изобразительного искусства петровского времени. Картина написана немецким мастером Иоганном Таннауэром, который был приглашен в Россию лично императором Петром Великим и работал при дворе более 25 лет. Петр Толстой изображен в напудренном парике, камзоле с золотыми пуговицами, с голубой наградной лентой и с белым шейным платком.

Петр Андреевич Толстой — первый граф в роду Толстых. Его биография, полная карьерных взлетов и падений на фоне верного служения императору, очень характерна для бурной петровской эпохи. Он учился морскому делу в Италии, понимал европейскую культуру, был послом в Турции, где показал себя блестящим тонким дипломатом. Пётр Толстой написал обширный труд «Состояние народа турецкого» об Османской империи XVIII века, представлял Российскую империю в Дании, Англии и Пруссии.

За вклад в победу в Полтавской битве Пётр Толстой был удостоен царского подарка — портрета Петра I в бриллиантах. В 1718 году Толстой выполнил личное секретное поручение царя: возвратил в Россию бежавшего в Неаполь царевича Алексея, сына Петра Великого. Толстой был участником следствия по делу царевича, его подпись занимает четвертое место среди 127 подписей под смертным приговором царскому сыну.

За проявленное усердие «по делу злодея и губителя отца и отечества» Петру Толстому был пожалован чин действительного тайного советника, а также должность сенатора. Он получил 1318 крестьянских дворов, свыше 5200 душ; стал начальником Тайной розыскных дел канцелярии. Толстой отвечал за подготовку коронования Екатерины I и 7 мая 1724 года получил титул графа и родовой герб. На нем были отражены все политические заслуги Петра Толстого.

После смерти Петра I в период борьбы за трон по навету Александра Меншикова Пётр Толстой был сослан в тюрьму Соловецкого монастыря вместе с сыном Иваном, где оба скончались в тяжких условиях каземата. Графский титул был утрачен на 30 лет и вернулся к Толстым только при императрице Елизавете Петровне 30 мая 1760 года.