Графиня Елизавета Браницкая родилась в семье гетмана Польши Ксаверия Браницкого. Её матерью была племянница Григория Потемкина — Александра Энгельгардт. Графиня воспитывалась в строгости и до 27 лет жила в деревне. Лишь в 1819 году она впервые отправилась в свое первое путешествие за границу.

Во время путешествия по Франции Елизавета Ксаверьевна познакомилась с 37-летним графом Михаилом Семеновичем Воронцовым — прославленным боевым генералом. В Париже граф просил руки Елизаветы Ксаверьевны и там же они обвенчались. Совершая свадебное путешествие по Европе, молодые посетили Лондон, где в то время был популярен художник Джордж Доу. Александр I пригласил Доу для написания большой серии портретов для Военной галереи 1812 года в Эрмитаже. Джодж Доу написал портрет Воронцовой. Алупкинский портрет был скопирован с работы Доу.

Через год молодожены вернулись в Россию. Из-за назначения графа Новороссийским генерал-губернатором семья переехала в Одессу в 1823 году. Вокруг графини в Одессе собиралось общество поэтов и художников. В 1823 с ней познакомился Пушкин. На страницах рукописи романа «Евгений Онегин» он пером рисовал профиль Елизаветы Ксаверьевны. Исследователи творчества насчитали более тридцати набросков в дневниках и письмах поэта. «Одесский период» Пушкина продолжался 13 месяцев, он отразился в произведениях любовной лирики: «Талисман», «Прощание», «Сожженное письмо».

После приобретения графом Алупки Воронцовы построили там дворец. Елизавета Ксаверьевна самостоятельно руководила оформлением замка и прилегающего парка. Графиня любила садоводство и хорошо знала ботанику. Воронцова занималась устройством розария и подбором сортов роз.

Елизавета Ксаверьевна вела активную жизнь, многие годы возглавляла благотворительное общество, помогавшее нуждающимся и сиротам. Её заслуги были высоко оценены при дворе. В 1838 году она была пожалована статс-дамою, а в 1850 году ей был вручён орден Святой Екатерины. После кончины любимого мужа она полностью отошла от светской жизни.

Портрет Елизаветы Ксаверьевны находится в Китайском кабинете. Её миловидное лицо, обращенное к зрителю, обрамляет прическа 1820 годов с буклями. На графине темно-синее платье с высокой талией и прорезными буфами рукавов: такое платье называется «венецианским». На шее скромное, но обязательное в высшем свете жемчужное ожерелье, подчеркивающее белизну кожи.