Фигура на переднем плане — мадам Жину, жена владельца привокзального кафе, находившегося ровно напротив арльской квартиры Винсента Ван Гога, у которого на протяжении нескольких месяцев 1888 года гостил Поль Гоген. Именно после приезда Гогена мадам Жину согласилась позировать художникам, и в начале ноября Гоген сделал угольный набросок для ее портрета, а Ван Гог — первое полотно из серии «Арлезианки». Позже образ с наброска Гогена был разработан в его собственном «Кафе в Арле» и в серии портретов Ван Гога, созданных им уже в приюте для душевнобольных Сен-Реми: портретируемая везде предстает в одной и той же позе, а на ее губах блуждает слабая джокондовская улыбка. Формальный повод для улыбки — профессиональное гостеприимство мадам Жину: она, очевидно, только что подала художнику абсент и приглашает его к себе за стол. Однако мрачная атмосфера окутанной табачным дымом привокзальной забегаловки, в которой вечно собирались пьяницы и проститутки и о которой Ван Гог как-то сказал, что в ней можно совершить самоубийство, преступление или сойти с ума, намекает на иную трактовку выражения лица хозяйки: она улыбается невесело, слегка утомленно, как человек, который проводит за этим столом каждый вечер и заранее знает, кто что закажет, кто до какого времени досидит и кто как будет себя вести.

Мужчины, изображенные в левой части «Кафе в Арле», — своего рода эхо персонажей вангоговского полотна на тот же сюжет («Ночное кафе в Арле»): неподвижные, депрессивные фигуры, решенные предельно обобщенно — строго говоря, мы не видим даже их глаз. В целом атмосфера кафе у Гогена несколько живее, чем на картине Ван Гога, но именно левая пара посетителей трактована с вангоговской мрачной безнадежностью. Один из мужчин, по всей видимости, лейтенант Милье, опять-таки знакомый по портрету Ван Гога.

Единственный намек на действие на картине «Кафе в Арле» происходит за спиной мадам Жину: группа из мужчины и трех женщин явно поглощена разговором. Мужчина вполне узнаваем — это арльский почтальон Рулен, в самом деле большой любитель поговорить: из свидетельств Ван Гога и Гогена мы знаем, что художники регулярно вступали с ним в споры на социально-политические темы. Его собеседницы, судя по костюмам, — местные проститутки, также знакомые художникам не понаслышке: когда Гоген расписывал их с Ван Гогом совместный бюджет, то включил в него статью расходов под названием «ночные гигиенические прогулки»; через несколько месяцев после написания картины Ван Гог принесет одной из них, девушке по имени Рашель, отрезанную мочку уха.

Примостившаяся под бильярдным столом кошка позволяет судить о манере работы Гогена, которая абсолютно чужда вангоговской. У последнего — в чистом виде фактурная живопись, торжество яркого цвета и густых, пастозных* мазков; гогеновская же кошка практически бесплотна, в ней есть лишь обобщенный контур, а через ее тело просвечивает фон. Если присмотреться, сходным образом решены и многие другие фрагменты «Кафе в Арле»: цвет здесь хоть и местами ярок, но совсем не экспансивен и наносится тонким слоем, через который хорошо видно текстуру холста. Приглашая Гогена в Арль, Ван Гог надеялся обрести в нем своего союзника, человека, вместе с которым они затеют новую, южную школу живописи. В реальности же они не подходили друг другу ни по характеру, ни по эстетическим взглядам. «Мы с Винсентом редко соглашаемся в чем-нибудь, особенно когда дело касается живописи, — писал Гоген. — Он восхищается Домье, Добиньи, Зиемом и великим Руссо, то есть всеми, кого я не воспринимаю. И наоборот, презирает Энгра, Рафаэля, Дега — всех тех, кем восхищаюсь я… Он романтик, меня же скорее тянет к примитиву. Что до цвета, ему ближе причуды пастозности, как у Монтичелли, а я ненавижу эту мешанину фактуры».

Композиционно «Кафе в Арле» делится на три очевидные цветовые зоны: преимущественно красный дальний план, преимущественно зеленый средний — и ближний, в котором доминирует белый цвет (стол и фартук мадам Жину). Это дань Гогена клуазонизму — художественному направлению, которое придумали его коллеги по бретонской живописной школе, в частности Эмиль Бернар (Гоген прибыл в Арль как раз из Бретани). Клуазонизм представляет собой перенесение на холст декоративных принципов прикладного искусства, главным образом перегородчатой эмали: пространство картины делится на несколько цветовых плоскостей, ограниченных четкими контурами; соображения реалистической перспективы, а также светотени и цветовых градаций при этом игнорируются. Вместе с тем Гоген был не вполне доволен использованием локальных цветов в своей картине. 

Полю Сезанну не нравились работы Гогена — он сравнивал их с раскрашенными китайскими открытками; Гоген, напротив, любил Сезанна, и оттого влияния сезанновской живописи подспудно проникали и в его картины, притом что форма как таковая — идея фикс Сезанна — его практически не интересовала. В «Кафе в Арле» это особенно заметно в натюрморте на переднем плане, который как будто бы живет своей, отдельной от прочей картины, жизнью, и в том, как решена поверхность стола, словно бы норовящего опрокинуться на зрителя. Очевидно также, что стол с напитками и, скажем, расположенный поодаль бильярдный стол, находятся в совершенно разных плоскостях — это тоже характерный сезанновский прием.