Островский сам — отец семейства, был полон любви к своим ученикам. Но не решался ее проявлять из-за страха перед инструкциями.
В 1877 г. Островский был избран казначеем Общества вспомоществования недостаточным воспитанникам и воспитанницам гимназий. Общество помогало тем, кто не мог заплатить за обучение.
В это же время Островский, совместно с директором Э.Р. Рейтлингером, работал над книгой «Краткая историческая записка о Таганрогской гимназии». Им описан период с 1875 по 1879 гг. Он исполнял обязанности секретаря Педагогического совета и в этом качестве подписал в июне 1879 года аттестат выпускника Антона Чехова.
В последние годы жизни Ипполит Антонович болел туберкулезом, скончался в 1886 году в возрасте 36-ти лет. На похоронах преподаватель Закона Божьего Ф.П. Покровский сказал о нем: