Андрей Осипович был не только талантливым фотографом, но и известным коллекционером, знатоком старины, сознающим важность сохранения исторического наследия. По свидетельству купца А.П.Бахрушина, «все, интересующиеся старинными русскими вещами перебывали у него, приезжая иной раз издалека». Знаменитый коллекционер XIX века П.И.Щукин постоянно пользовался его услугами и советами.
Каждое лето Андрей Осипович отправлялся в путешествие по Нижегородской губернии, отыскивая уникальные предметы народного творчества. Возвращаясь из поездок, он письменно оповещал коллег-коллекционеров о своих находках.
Свою коллекцию Карелин часто пополнял на Нижегородской ярмарке. По воспоминаниям П.И.Щукина, «по вечерам можно было встретить Андрея Осиповича в Ярославском ряду у старьевщика, где он искал редкости».