Согласно преданиям, первая Кааба была создана Адамом по велению Всевышнего. Он говорит в Коране: «Аллах сделал Каабу, заповедный дом, а также запретный месяц, жертвенных животных и животных (или людей) с ожерельями опорой для людей» (5:97). Адаму был дан камень белого цвета из рая, позднее он почернел от грехов прикасавшихся к нему людей и стал называться Черным камнем (аль-Хаджар аль-асвад). Обрамленный серебряной оправой, он находится слева от дверей Каабы, в ее восточном углу. Черный камень в стену сооружения был установлен самим пророком Мухаммедом.

Великий Потоп разрушил святыню, но через несколько веков после окончания бедствия ее вновь возвели пророк Ибрахим (известный христианам под именем Авраам и почитаемый тремя религиями: исламом, иудаизмом и христианством) с сыном Исмаилом. Аллах указал им место, где ранее находилась Кааба, и с помощью Всевышнего постройку завершили. За время существования сооружение и окружающее его пространство еще не раз перестраивалось.

В древности постройка почиталась языческим святилищем племени курейшитов, к которому принадлежал и пророк Мухаммед. Кочевые племена Аравийского полуострова дважды в год собирались здесь для отправления религиозных обрядов перед идолами. После появления ислама Кааба стала почитаться главной мусульманской святыней. Ей дано символическое имя «священный дом» (аль-Бэйт аль-Харам).

Это ориентир для мусульман всего мира при совершении намаза. Во второй год хиджры пророк Мухаммед сменил направление молитвы — киблу — на Каабу, и с тех пор каждый молящийся обращает взор в ее сторону.

Ежегодно в месяц зуль-хиджа, через два месяца после завершения Рамадана, верующие направляются в Мекку для совершения пятого столпа ислама — паломничества (хаджа), во время которого нужно обязательное семикратно обойти вокруг святыни. Внутрь нее паломники не заходят, она бывает открыта лишь для самых почетных гостей. Можно посетить Мекку и Каабу и во время малого паломничества — умры, которое совершают в любое время года.