Peygamber Efendimiz (s.a.v.) Medine-i Münevvereye hicret ettiklerinde ilk olarak orada bir mescit yaptırmışlardır. Mescid-i Nebevî’nin inşasına başlanacağı sırada Cebrail aleyhisselam indi ve duvarlarının yedişer arşın yüksekliğinde olmasını, hiçbir tarafına nakış ve ziynet yapılmamasını ve harcın sade çamurdan ibaret bulunmasını tavsiye etti.
Resûlullâh Efendimiz (s.a.v.) bir taş alıp temele Besmele ile koydular. Sonra Hazret-i Ebûbekir, Hz. Ömer, Hz. Osman ve Hz. Ali’ye sıra ile birbiri yanına taşlar koymalarını emir buyurdular. Bunun hikmetini sual edenlere:
“Bu zatların halifeliklerine işarettir” buyurdular.
Resûlullâh Efendimiz (s.a.v.), Kıble değiştirildiğinde Mescidü’l-kıbleteynde öğle namazını kıldıktan sonra Mescid-i Nebevîye teşrif buyurdular. Hemen Hazret-i Cebrail aleyhisselâm indi ve:
“Yâ Resûlallâh! Ben Beytullah ile Mescidiniz arasındaki ağaç ve taşları kaldırdım. Mescidinizin mihrabını Beytullâh’a bakarak yerleştiriniz” dediler.
Resulü Ekrem Efendimiz (s.a.v.) Beytullâh’ı görerek mihrabın mevkiini bizzat tayin ettiler ve mihrab-ı şerifin Mîzâb-ı rahmeye (Altın Oluk’a) mukabil olduğunu haber verdiler. Bu vak‘a Bedir gazasından iki ay önce olmuştur.