Илья Андреевич Толстой — дед писателя Льва Николаевича Толстого по отцу. Он учился в Морском корпусе, служил гардемарином на флоте, затем в лейб-гвардии Преображенского полка. Удачно женившись на богатой наследнице, Илья Толстой вышел в отставку в чине бригадира.

Супруги Толстые владели поместьями в 1200 душ в Тульской губернии и жили в Полянах, где Илью Андреевича дворянство избрало в местные судьи. Его жена Пелагея Николаевна, в девичестве Горчакова, была женщиной малообразованной, недалекой и капризной; в детстве ее баловал богатый отец, а затем муж. У Толстых было трое детей: сын Николай и две дочери — Александра и Пелагея. Вместе с ними в доме воспитывалась рано осиротевшая дальняя родственница — Татьяна Ёргольская, которая впоследствии стала воспитательницей Льва Толстого и прототипом Сони Ростовой в романе «Война и мир».

Илья Толстой был мягким, веселым, щедрым и доверчивым человеком. Зная его доброту, люди брали у него большие суммы взаймы и часто не возвращали. Илья Андреевич с азартом играл в карты, был склонен к аферам и розыгрышам. В его доме было шумно и весело, давали блестящие балы, роскошные пиры, для которых даже привозили стерлядей из Астрахани. За столом подавали только французские вина, которые пили из богемского хрусталя; играли в ломбер и вист; белье посылали стирать в Голландию.

Губернатором Казани Илья Толстой был назначен после Отечественной войны 1812 года. Первые годы жизни Толстых в Казани были счастливыми и беззаботными, но вскоре налаженная жизнь рухнула. Чиновники злоупотребляли мягкостью и доверчивостью Ильи Андреевича, в результате чего возникло дело, которое приехала разбирать сенатская комиссия из Петербурга. И.А. Толстой был уволен с обвинениями в незаконном займе, его обязали никуда не уезжать до окончательного решения. В скором времени, не пережив позора, Илья Андреевич скончался в возрасте 62 лет.