Елизавета Толстая происходила из старинного рода симбирских дворян. Гончаров познакомился с ней в Петербурге в 1843 году, когда ей было 16 лет, а ему — 31. Он оставил в девичьем альбоме новой знакомой запись, где пожелал ей «светлой и безмятежной будущности».

 
В следующий раз Гончаров и Толстая встретились только через 12 лет, в 1855-м. Хотя Елизавете Толстой исполнилось уже 28 лет, она была все еще не замужем. Вскоре Толстая вернулась из Петербурга в Москву, а незадолго до отъезда отправилась вместе с Николаем Майковым в ателье известного фотографа Сергея Левицкого: художник попросил ее сделать снимок, по которому потом собирался написать портрет. В итоге оказалось, что нужную фотографию нельзя отпечатать в нескольких экземплярах: подмастерье случайно уничтожил негатив. Единственный готовый снимок забрал себе Иван Гончаров, но потом одолжил его на время Майкову, чтобы тот мог написать портрет.

 
После отъезда в Москву Елизавета Толстая начала переписываться с Иваном Гончаровым. Писатель отсылал ей главы из своего романа Pour et contre («За и против»), в котором от лица вымышленного друга рассказывал о собственной любви. Устами своего героя он признавался: