Андрей Осипович был известным коллекционером русских древностей. Нижегородцы называли его дом музеем, а о коллекции Карелина с уважением отзывались авторитеты антикварного дела.
К предметам из коллекции Карелина обращались многие художники для написания своих исторических полотен: В.В.Верещагин, И.Е.Репин, К.Е.Маковский, И.И.Шишкин. А ученики созданной Карелиным школы рисования использовали ее как реквизит для создания художественных композиций.
В конце 1880-х материальное положение семьи Карелиных ухудшилось, и Андрей Осипович вынужден был распродавать свою уникальную коллекцию. В 1887 году он начинает переписку с Российским Историческим музеем, объясняя, что для него важно передать коллекцию «в целом составе», чтобы она не пропала «без следа и памяти». Желанию Карелина сохранить коллекцию в целостном виде, к сожалению, не суждено было сбыться. Исторический музей смог приобрести лишь часть коллекции.