Андрей Петрович унаследовал от отца некоторое состояние, а после смерти первой жены, урождённой княжны Мещерской, получил в наследство подмосковное имение. Однако впоследствии оказался почти без средств — в силу недобросовестных сделок и заёмных обязательств: друзья, бравшие у него деньги и устраивавшие выгодные для себя обмены имениями, фактически разорили его.
Последней должностью Андрея Петровича на государственной службе было гражданское губернаторство Волынской губернии, где он пользовался большой любовью и уважением. В конце 1830-х годов он вышел в отставку, как полагает сын, — в силу несогласия с политикой высших властей, направленной на притеснение польского населения. После этого Андрей Петрович поселился в Тихвине вместе с супругой, Софьей Васильевной, и братом Петром Петровичем, получая небольшую пенсию.
Будучи убеждённым противником крепостного права, он постепенно отпускал на волю своих дворовых людей. Как вспоминал композитор: