Dalam sejarahnya, masjid mempunyai peran dan arti penting dalam kehidupan umat Islam. Hal ini dikarenakan, sejak masa Rasulullah saw. masjid telah menjadi sentra utama seluruh aktivitas umat Islam di generasi awal. Bahkan pada masa itu, masjid menjadi fasilitas umat Islam untuk mencapai sebuah kemajuan peradaban.
Sejarah masjid sendiri bermula ketika Rasulullah saw. hijrah ke Madinah (dulu bernama Yatsrib). Di mana langkah pertama yang beliau lakukan adalah mengajak para pengikutnya untuk membangun masjid. Dari sinilah, benih-benih kemajuan peradaban Islam mulai bersinar. Pada awal kemunculannya, masjid bukan hanya menjadi tempat beribadah saja, akan tetapi juga berfungsi sebagai pusat kegiatan pendidikan, tempat pembentukan dan pembinaan karakter umat, dan lain sebagainya.
Masjid yang pertama kali dibangun oleh Rasulullah saw. saat hijrah ke Madinah adalah masjid Quba. Masjid ini dibangun saat Rasulullah saw. tiba di Quba, tepatnya Senin 8 Rabiulawal tahun ke-14 kenabian atau 23 September 662 M. Yang lokasinya berada di sebelah Tenggara kota Madinah.
Dalam pembangunan Masjid Quba, ada salah satu sahabat Rasulullah saw. yang mempunyai peranan penting dalam pembangunan masjid tersebut, dia bernama Ammar. Di mana saat Rasulullah saw. hijrah dari Mekkah ke Madinah, pria ini mengusulkan untuk membangun tempat berteduh bagi Rasulullah Saw di kampung Quba, yang tadinya hanya berisi hamparan kebun kurma.
Kemudian pada saat itu, dikumpulkan batu-batu dan disusun menjadi masjid yang sangat sederhana. Meskipun tak seberapa besar, paling tidak bangunan tersebut dapat menjadi tempat berteduh bagi rombongan Rasulullah saw., akhirnya mereka pun dapat beristirahat pada saat siang hari dan mendirikan salat dengan tenang.
Meskipun sangat sederhana, Masjid Quba boleh dianggap sebagai contoh bentuk masjid-masjid selanjutnya. Bangunan yang sangat sederhana kala itu, sudah memenuhi syarat-syarat yang perlu untuk sebuah masjid. Di mana masjid Quba waktu itu, telah memiliki sebuah ruang persegi empat dan berdinding disekelilingnya. Di sebelah utara, dibuat serambi untuk tempat sholat.
Dulu, ruangan tersebut bertiangkan pohon kurma, beratap datar dari pelepah dan daun kurma yang dicampur dengan tanah liat. Di tengah-tengah ruang terbuka dalam masjid yang kemudian biasa disebut sahn, terdapat sebuah sumur tempat wudhu. Di situlah, para jamaah mengambil air untuk membersihkan diri.
Setelah masjid Quba, bangunan masjid yang selanjutnya dibangun oleh Rasulullah Saw adalah masjid Nabawi di Madinah. Rasulullah Saw, membangun Masjid Nabawi pada bulan Rabiulawal di awal-awal hijrahnya ke Madinah. Pada saat itu, panjang masjid adalah 70 hasta dan lebarnya 60 hasta atau panjangnya 35 meter dan lebar 30 meter.
Masjid Nabawi dulunya sangat sederhana, dan kita akan sulit membayangkan keadaannya apabila melihat bangunannya yang megah saat ini. Lantai masjid adalah tanah yang berbatu, atapnya pelepah kurma, dan terdapat tiga pintu, sementara sekarang sangat besar dan megah.
Pada waktu itu, area yang hendak dibangun Masjid Nabawi juga terdapat bangunan yang dimiliki oleh Bani Najjar. Rasulullah saw. waktu itu ingin membeli area yang terdapat bangunan Bani Najjar, akan tetapi Bani Najjar dengan suka rela mewakafkan tanah dan bangunan mereka untuk dibangun masjid Nabawi. Selain masjid Quba dan masjid Nabawi yang dijelaskan di atas, tercatat masjid yang juga dijadikan sentra utama seluruh aktivitas keumatan, yaitu Masjidil Haram, Masjid Kufah, Masjid Basrah dan masih banyak lagi.
Apa yang dilakukan oleh Rasulullah saw. dengan membangun masjid, memberikan arti penting bagi pondasi penting dalam membangun peradaban Islam. Karena bukan rumah kediaman beliau yang didahulukan untuk dibangun, bukan juga sebuah benteng pertahanan untuk menghadapi kemungkinan serangan dari Makkah. Namun, Nabi Muhammad saw. mengutamakan membangun masjid yang dianggap lebih penting daripada semua itu.
Ketika Rasulullah saw. memilih membangun masjid sebagai langkah pertama, dari niatnya berdakwah dan membangun masyarakat madani. Konsep masjid pada masa itu, ternyata tidak hanya sebatas tempat salat saja, atau tempat berkumpulnya kelompok masyarakat (kabilah) tertentu, melainkan masjid menjadi sentra utama seluruh aktivitas keumatan, yaitu sentra pendidikan, politik, ekonomi, sosial dan budaya sebagai upaya membangun sebuah peradaban Islam.
Masjid sebagai tempat menyembah, memuliakan dan mengingat Allah swt., saat itu diartikan dalam pengertian yang umum, tidak sebatas tempat berkumpul umat Islam untuk melakukan ibadah salat. Tetapi juga tempat yang sangat penting dalam rangka membina pribadi dan umat Islam.