Но Великая война для Герцена не сводилась к набору картинок: с ней было связано важнейшее событие в жизни его семьи. Отец Александра Ивановича, отставной капитан гвардии Иван Яковлев, не успел уехать с семьей и прислугой из Москвы, в которую вошла наполеоновская армия, и его доставили к французскому императору.
«В синем поношенном полуфраке с бронзовыми пуговицами, назначенном для охоты, без парика, в сапогах несколько дней нечищенных, в черном белье и с небритой бородой — мой отец, поклонник приличий и строжайшего этикета — явился в Тронную залу Кремлевского дворца по зову императора французов», — писал Герцен в «Былом и думах». Наполеон предложил семейству Ивана Алексеевича помощь с выездом из Москвы — в обмен на услугу. Яковлев должен доставить русскому царю Александру Первому послание от Наполеона. На конверте тот написал: A mon frère l'Empereur Alexandre («Брату моему императору Александру»). Поручение Яковлев выполнил, но к Александру допущен не был. Письмо пришлось передать через Алексея Аракчеева и поплатиться за это месячным арестом и высылкой из Петербурга.
Пропуск для выезда из горящей Москвы, подписанный герцогом Тревизским и скрепленный печатью московского обер-полицмейстера Лессепса, хранился в семье Герцена как память об этих тяжелых событиях. Семью Ивана Яковлева казачий генерал Иловайский отправил до ближайшего города с партией французских пленников под прикрытием казаков. Он же снабдил их деньгами на прогоны до Ярославля. Рассказ об этом эпизоде стал семейным преданием и одним из самых ярких детских впечатлений Герцена.