Во время пребывания в Одессе Александр Сергеевич Пушкин часто бывал в ее салоне. Известный литературовед Георгий Макогоненко полагал, что роман Воронцовой и Пушкина — «созданный пушкинистами миф». Тем не менее считается, что именно Елизавете Воронцовой посвящены стихи «Все кончено: меж нами связи нет» (1824 год), «Сожженное письмо» (1825), «Желание славы» (1825) и другие. Перед высылкой поэта из Одессы Елизавета Ксаверьевна подарила ему кольцо. Пушкин изображен с ним на известном портрете кисти Василия Андреевича Тропинина. С этим подарком связывают два стихотворения Пушкина. Одно из них сегодня хрестоматийно — «Храни меня, мой талисман» (1825 год). Другое — «Талисман» — написано уже спустя два года, в 1827-м.