Став студентом Московской консерватории, Александр Гольденвейзер поступает в класс молодого педагога Александра Ильича Зилоти. Талантливый пианист, дирижер, музыкальный редактор, организатор концертов Александр Зилоти был, несомненно, самостоятельной и выдающейся личностью в истории музыки.
Родился Зилоти в 1863 году в дворянской семье. Его отец Илья Матвеевич был знаменитым общественным деятелем, а мать Юлия Аркадьевна приходилась родной теткой Сергею Рахманинову. Семья музыканта большую часть времени проводила в родовом имении Софиевка в Харьковской губернии. Николай Сергеевич Зверев убедил родителей дать сыну профессиональное музыкальное образование и принял Сашу к себе в пансион для одаренных детей. В старшем отделении консерватории Зилоти перешел в класс Николая Рубинштейна и стал его лучшим учеником. Теорию музыки Александр Ильич изучал у Петра Чайковского, что привело к теплым, дружеским отношениям между ними.
Видя выдающиеся способности своего ученика, Николай Рубинштейн решает после окончания консерватории отправить Зилоти к Ференцу Листу в Германию. Композитор, послушав его игру, предложил юноше заниматься у него. Лист оказал на Зилоти большое влияние не только в музыкальном искусстве, но и в жизни.
После окончания учебы Александр часто давал концерты. Во время одного из них он познакомился со своей будущей супругой — Верой Павловной Третьяковой, дочерью основателя знаменитой галереи Павла Михайловича. Молодые люди обвенчались и прожили долгую счастливую жизнь.
Всего два года проработав в Московской консерватории на должности профессора по классу фортепиано, Александр Зилоти сумел оказать большое влияние на своих учеников. Затем Александр Ильич уехал за границу, где с большим успехом проходили его концерты. Вернувшись в Российскую империю, Зилоти поселился в Петербурге и занялся организацией просветительских концертов: он учредил общедоступные концерты для малообеспеченной публики и студенческой молодежи, основал Русский музыкальный фонд, который помогал нуждающимся музыкантам.