Не получивший в молодости почти никакого образования, Алексей Иванович Хлудов был одарён большими природными способностями, которые развил самостоятельно. Происходя из именитой купеческой фамилии, вёл большие коммерческие дела по хлопчатобумажному производству и за свои заслуги на этом поприще был награждён званием мануфактур-советника и орденом Св. Владимира 3-й степени. В 1845 году вместе с братом Савелием построили в Егорьевске бумагопрядильную фабрику. Алексей Иванович Хлудов заведовал коммерческой частью фабрики и сам комплектовал её машинами в Англии (фабричным хозяйством заведовал его брат Савелий Иванович, который в 1855 году скончался).

 
В 1857 году вместе с Людвигом Кнопом и К.Т. Солдатёнковым он основал Товарищество Кренгольмской мануфактуры. Держал две торговые лавки в Гостином дворе.

 
В 1869 году ему удалось исходатайствовать проведение железнодорожной ветки к Егорьевску от станции Воскресенск Московско-Казанской железной дороги. В 1875 году егорьевская фабрика была преобразована в учреждённое годом ранее товарищество на паях «Хлудовы купцы».

 
В 1873 году А.И. Хлудов основал товарищество Ярцевской мануфактуры.

 
Хлудов активно участвовал в благотворительной деятельности. Финансировал учебные заведения, больницы, дома призрения, церкви. Был членом Московского археологического общества, в чине казначея, пожертвовал крупную сумму на реконструкцию и отделку бывших палат думного дъяка Аверкия Кириллова. Хлудов также являлся одним из основателей московского Публичного Румянцевского музея и вкладывал в это учреждение немалые средства.

 
Умер А.И. Хлудов в ночь на 22 марта (3 апреля по новому стилю) 1882 года. Похоронен на кладбище Покровского монастыря.