Сотрудникам Владимиро-Суздальского музея-заповедника не всегда удавалось сразу устанавливать авторство картин, которые поступали в его коллекцию. Представленный портрет не стал исключением, так как не был подписан.

Первые данные о возможном авторе картины обнаружили в записях о расходах первого Министра иностранных дел Российской империи Александра Воронцова 1780-х годов. «100 рублей отдано живописцу Левицкому, » — отметил он.

Дмитрий Левицкий был одним из крупнейших портретистов XVIII века. Он писал императрицу Екатерину II и философа Дени Дидро, мецената Прокофия Демидова и музу Русского Просвещения Марию Львову, воспитанниц Смольного института благородных девиц и представителей знатных дворянских семей, а также многих политических и культурных деятелей своей эпохи.

Левицкий написал не только самого Семена Романовича, но и его жену Екатерину.

Эти картины Левицкий написал в двух экземплярах около 1783 года, незадолго до того, как супруги Воронцовы отправились сначала в Венецию, а потом в Лондон. Специалисты считают, что художник работал над ними вместе со своим помощником Леонтием Миропольским.

В XX веке, уже после национализации усадьбы Андреевское, портрет Семена Воронцова отправился в Харьковский музей, откуда пропал в годы Великой Отечественной войны. Портрет его супруги оказался в Русском музее.

Вторая пара картин — без подписей — осталась в Андреевском и в 1921 году поступила во Владимиро-Суздальский музей-заповедник.