Вержбицкий так вспоминает знакомство с поэтом: «Узнав, что я тоже литератор, Есенин обрадовался, а когда я сообщил ему, что работаю в Центропечати, он и вовсе проникся ко мне симпатией…». Воспоминания писателя о Есенине впервые напечатаны в журнале «Звезда» в 1958 году, а затем были выпущены отдельной книгой.


Вержбицкий вспоминал: «Есенин перебрался на окраину города, где я снимал квартиру в доме № 15 по Коджорской улице. Здесь поэт и поселился — подальше от соблазнов, от шумных гостей, от городской сутолоки… Первую, небольшую комнатку с письменным столом и огромным уральским сундуком-укладкой, покрытым ковром, я отдал Есенину. Вторая комната служила спальней мне и моей жене. На балконе, по тифлисскому обычаю, готовили пищу, пользуясь жаровней-мангалом, ели, пили и беседовали. Перед балконом росло несколько деревьев алычи и был разбит цветник».

В Тифлисе было написано стихотворение Есенина «На Кавказе»:
…Я полон дум
О них, ушедших и великих.
Их исцелял гортанный шум
Твоих долин и речек диких.
Они бежали от врагов
И от друзей сюда бежали,
Чтоб только слышать звон шагов
Да видеть с гор глухие дали…

Известно пять писем Есенина к Вержбицкому, относящихся к 1924–25 годам. В июне–июле 1925 года поэт рассказывает другу в письме о своих душевных переживаниях: «Все, на что я надеялся, о чем мечтал, идет прахом. Видно, в Москве мне не остепениться. Семейная жизнь не клеится, хочу бежать. Куда? На Кавказ! <…> С новой семьей вряд ли что получится, слишком все здесь заполнено „великим старцем“ (последняя жена Есенина, Софья Толстая, была внучкой Льва Николаевича Толстого. — Прим. ред.), его так много везде, и на столах, и в столах, и на стенах, кажется, даже на потолках, что для живых людей места не остается. И это душит меня».