Diriwayatkan dari Al Bara r.a. : ketika Nabi Muhammad Saw. Datang ke Madinah, pada awalnya dia tinggal bersama kakek kakeknya atau paman paman dari ibunya dari pihak Anshar.
Selama enam belas atau tujuh belas bulan Nabi Muhammad Saw. Mendirikan shalat dengan menghadapkan wajahnya ke arah Bayt Al Maqdis (Yerusalem), beliau sebenarnya ingin shalat menghadap ke arah Ka’bah, kemudian turunlah wahyu yang memerintahkan ia menghadapkan wajahnya ke arah Ka’bah. Shalat asar yang dilakukan berjamaah adalah shalat pertama Rasulullah SAW ke arah Ka’bah. Salah seorang yang ikut shalat asar berjamaah bersama Rasulullah SAW kemudian pergi ke sebuah masjid tempat orang-orang tengah melaksanakan shalat dengan menghadapkan wajahnya ke arah Yerusalem.
Lalu orang itu memberitahu mereka.”demi Allah SWT, aku bersumpah bahwa aku telah melaksanakan shalat bersama Rasulullah SAW dengan menghadapkan wajah ke arah Ka’bah.” (mendengar hal itu) mereka segera mengubah arah kiblat mereka.
Orang-orang yahudi dan ahli kitab yang pada mulanya merasa senang karena kiblat shalat Rasulullah SAW adalah Yerusalem kecewa ketika Rasulullah SAW mengubah kiblat shalatnya ke arah Ka’bah.