В 1870–1880-х годах дело Юргенса быстро расширялось и ему требовались новые здания под магазины. Для одного из них он и купил бывший дом Гончаровых. Но купцу он не совсем подходил: второй этаж нельзя было переоборудовать под торговые помещения. Тогда Карл Юргенс решил построить рядом еще одно здание, одноэтажное, которое примыкало бы к старому дому. Вход Юргенс собирался устроить с улицы, внутри должны были появиться три просторных торговых зала. Но воплотить проект 1882 года сразу не удалось.

 
Карл Юргенс скончался в 1898 году, торговое дело продолжили четверо его сыновей. Старший из них, Аксель, участвовал в делах отца еще с начала 1890-х: покупал соседние здания, построил склад сельскохозяйственных орудий. С 1898 по 1900 год дом Гончаровых под руководством Акселя Юргенса полностью перестроили. Стены облицевали новым кирпичом. К зданию добавили третий этаж и расширили его при помощи боковых пристроев. Дом выходил фасадами на три улицы: Московскую, Большую Саратовскую и Троицкую.

 
2 декабря 1911 года Юргенсы продали дом симбирскому купцу Алексею Балакирщикову. Полгода спустя он переоборудовал первый этаж под несколько отдельных магазинов. Сам купец и его семья в этом здании не жили.

 
После революции здание стало государственной собственностью. В разные годы в нем располагались университет, типография, школа и, возможно, политехнические курсы. Здесь же находились и 12 жилых квартир, которые занимали 36 человек. В 1930-х в доме поселили военнослужащих и их семьи. А позже здесь открылась вечерняя (сменная) общеобразовательная школа № 1, которая работала до 2007 года. В 1982-м на первом этаже здания открылся Историко-литературный музей И.А. Гончарова. С 2012 года все здание Дома Гончаровых занимает экспозиция единственного в России Историко-мемориального центра- музея И.А. Гончарова.