Еще в XIX веке о создании в Таганроге общественной библиотеки мечтали многие образованные жители города. Задолго до ее появления существовала библиотека при клубе Коммерческого собрания, открытая в 1812 году. Позже ее функции пытались выполнять частные организации и владельцы книжных магазинов, которые устраивали «кабинеты для чтения».
Городская общественная библиотека была открыта 23 мая 1876 года в здании таганрогской управы. В нее поступил весь книжный фонд из бывшей библиотеки при Коммерческом собрании. Среди первых читателей значились будущий писатель Антон Павлович Чехов, актер Александр Леонидович Вишневский, художники Дмитрий Минаевич Синоди-Попов и Серафима Иасоновна Блонская, скульптор Леонид Егорович Егоров, историк Павел Петрович Филевский.
Значительный вклад в развитие городской библиотеки внес Антон Павлович Чехов, не утративший связи с родным городом после отъезда в Москву. В год смерти писателя библиотеке было присвоено его имя. Тогда же городская дума постановила: завещанные Чеховым денежные средства, а также суммы, которые собрала городская общественность, обратить в фонд постройки нового здания.
17 января 1914 года, через десять лет после смерти писателя, в Таганроге состоялось торжественное открытие нового здания этой библиотеки. Здание построили по проекту московского академика архитектуры Фёдора Осиповича Шехтеля, с которым писателя связывала крепкая дружба.
За работу над проектом Фёдор Шехтель не взял вознаграждения — оплачен был лишь труд помощников, которые готовили технические чертежи. Архитектор писал:
