Berdirinya Yayasan Hajjah Rachmah Nasution tidak terlepas dari rasa syukur keluarga besar H Abdul Manan Muis atas keberhasilan operasi  jantung Ibu Hajjah Rachmah Nasution.
Sebagai wujud dari rasa syukur itu, keluarga besar  mendirikan sebuah masjid yang diberi nama Masjid Ar-Rahman yang berlokasi di tanah keluarga di Jalan Pintu Air IV Kuala Bekala, Padang Bulan Medan.
Seiring dengan itu dibangun pula Madrasah Diniyah Awaliyah (MDA) sebagai tempat pembinaan keagamaan untuk anak-anak warga sekitar.
Pada tanggal 16 Juli 1984 diresmikan berdirinya Perguruan Al-Azhar Medan dengan membuka satuan pendidikan
– Sekolah Dasar (SD)
– Sekolah Menengah Pertama (SMP)
– Sekolah Menengah Atas  (SMA)
– Sekolah Pertanian Pembangunan (SPP)
Pada tanggal 17 Juli 1985 Perguruan Al-Azhar membuka satuan Pendidikan Taman Kanak-Kanak (TK) dan Sekolah Menengah Ekonomi (SMEA).

Melahirkan intelektual muslim dan muslim intelektual.

Melaksanakan pendidikan dengan dua muatan dan satu ciri khas.
Pertama, bermuatan iman dan taqwa di qalbunya.
Kedua, bermuatan ilmu dan teknologi dalam akal pikirannya.
Satu ciri khas  berakhlakul karimah dalam mengamalkan hablum minallah dan hablum minannas.

Perguruan/Universitas Al-Azhar adalah  wadah untuk mendukung program pemerintah mendidik generasi penerus  mencapai  Insan Kamil.

Tujuan pendidikan Al-Azhar adalah melahirkan generasi muda yang berakhlakul karimah, unggul dalam prestasi, cemerlang dalam gagasan, menarik dalam penampilan, tanggap terhadap perubahan, amanah dalam bertugas dan mempunyai daya saing tinggi.

Karakter Siswa Al-Azhar :

1. Menegakkan sholat lima waktu dan rutin membaca Al-Qur’an.
2. Berakhlak mulia dalam ucapan, sikap dan perbuatan.
3. Tidak melawan guru dan orangtua.
4. Belajar tekun dan berdisiplin.
5. Rapi dalam penampilan dan membudayakan hidup bersih.