26-го августа в Бородинском сражении получил сильную контузию и до декабря 1813 года находился в отпуске для излечения ран. Вернувшись в полк, участвовал в сражении под Фер-Шампенуазом, а 18-го марта 1814 года — во взятии Парижа. По окончании военных действий продолжил службу в оккупационном корпусе. В 1818 году был адъютантом командующего корпусом графа М.С. Воронцова.
После отпуска для излечения и поездки в Италию, в декабре 1819 года произведен в штабс-капитаны и назначен адъютантом к генералу от инфантерии П.П. Коновницыну. После знаменитой Семеновской истории и раскассирования полка 24-го января 1821 года переведен в лейб-гвардии Егерский полк, оставаясь адъютантом П.П. Коновницына. 6-го июня 1822 года произведен в капитаны.
Именно в этот период жизни и службы Петр Оленин запечатлен на акварели Карла Брюллова. Перед нами молодой гвардейский офицер в расстегнутом адъютантском мундире с серебряными петлицами на красном воротнике, эполетами и аксельбантом. Фигура сильно развернута вправо, кроме того, нижняя часть изображения не прописана, поэтому награды на левой стороне груди не видны.
Как известно, после окончания Академии Художеств в сентябре 1821 года, Карл Брюллов, как первый ученик, получил право на заграничную поездку в качестве пенсионера АХ, однако в тот момент Академия не имела на это средств. Поэтому президент А.Н. Оленин предложил Карлу и Александру Брюлловым остаться на пенсионерство при Академии на три года, что вызвало у них возмущение и решительный отказ. Однако вскоре отношения наладились, братья Брюлловы стали бывать в доме Олениных. Думается, общение с Петром Алексеевичем, не так давно побывавшим в Италии, вошедшим в круг пребывавших там молодых русских художников, и даже начавшим собственные занятия живописью, могло быть для братьев особенно интересным. Логично предположить, что именно в результате такого общения рождается запечатленный на акварели образ.
Несколько слов о дальнейшей судьбе Петра Оленина: в январе 1824 года определен подполковником в Корпус инженеров путей сообщения с назначением адъютантом к Главноуправляющему Корпусом герцогу Александру Вюртембергскому, в августе 1826-го — произведен в полковники, в июне 1830-го — прикомандирован к Инспекции дорог. 8-го января 1833 года вышел в отставку по болезни с производством в генерал-майоры.
К этому моменту Петр Алексеевич уже имел семью: 11 января 1831 года он женился на Марии Сергеевне Львовой (1810—1899), дочери Новоторжского предводителя дворянства Сергея Дмитриевича Львова и его супруги Татьяны Петровны, урожденной Полторацкой. В 1832 году родилась дочь Елизавета, а 1-го февраля 1833-го — сын Алексей. После отставки молодая семья поселилась в Новоторжском уезде Тверской губернии, в усадьбе Машук. В течение следующих лет родились еще трое сыновей — Сергей, Николай и Евгений, и дочь, названная Татьяной.
Не оставлял Петр Оленин и занятий живописью. Еще 16 сентября 1825 года он был «принят в назначенные» Академии Художеств за портрет И.А. Крылова, а 17 сентября 1827-го — «в почетные вольные общники» АХ. Кроме Крылова, портретировал близких к дому Олениных Н.И. Гнедича, А.И. Ермолаева, индуса Нам-Джоги-Алана, копировал портреты А.Н. Оленина и П.П. Коновницына работы А.Г. Варнека. Сохранились его рисунки в семейных альбомах, портреты неизвестных из окружения семьи или сослуживцев.
Нельзя не отметить, что отношение Петра Оленина к Карлу Брюллову, судя по трем его письмам, сохранившимся в архиве художника, отличалось восторженностью и романтичностью. Так, в письме от 24 января 1849 года читаем: «Мало кто Вас так, а может быть и никто, как я Вас люблю, гений души моей. Я ведь в Вас не вижу себе соперника по живописи, а зрю в Вас человека, делающего славу моей отчизны, да я так живопись люблю, что я готов у Вас ручки целовать за всякую, произведенную дланью Вашею картину». А в апреле 1851-го, передавая письмо с оказией за границу, Петр Алексеевич пишет: