Syech Ali Akbar Marbun lahir di desa Siniang Kecamatan Pakkat Kabupaten Humbang Hasundutan, letaknya + 28 KM dari kota Barus Kabupaten Tapanuli Tengah, atau + 280 KM dari kota Medan.
Beliau yaitu anak ke 7 dari 8 bersaudara, ayahnya Buyung Marbun (Alm) dengan ibunya Hj. Chadijah br. Nainggolan (meninggal pada usia + 105 tahun) yaitu petani dan orang yang taat beragama Islam.
Pendidikannya dimulai dari Sekolah Dasar, sehabis tamat, melanjutkan ke SMP (SMP). Karena sewaktu berguru di sekolah umum tidak mempelajari ilmu agama, maka sehabis simpulan dari SMP ia pergi ke Bedagai Sei Rampah untuk berguru Al-Qur’an dan Ilmu Fiqh kepada Khalifah Umar yang populer dengan kalimannya di tempat Tanjung Beringin Serdang Badagai. Setelah berguru + 1 tahun kepada Khalifah Umar, ia melanjutkan belajarnya kepada Syech Baringin Zainal Abidin seorang Alim dan Keramat dari Sei Senggiling Tebing Tinggi dan Syech Faqih Kayo dibidang Tauhid dan Taswwuf serta mengambil Tarikat Samaniyah selama + 1 tahun. 
Selanjutnya ia berguru ke Pesantren Musthafawiyah Purba Baru Tapanuli Selatan, salah satu pesantren tertua dan terbesar di Sumatera Utara yang didirikan oleh Syech Musthafa Husain Nasution yang pada waktu itu dipimpin oleh H. Abdullah Musthafa Nasution dan guru besarnya Syech Abdul Halim Lubis yang populer dengan sebutan Tuan Naposo.
Sambil berguru di Pesantren Musthafawiyah ia juga berguru kepada seorang Alim dan Kramat Syech Abdul Wahab di Muara Mais dan Syech Abdul Majid Tambangan Tonga seorang ulama yang populer dalam bidang Fiqh, beliau-beliau ini semua berguru di tanah suci Mekkah dan tinggal di Tapanuli Selatan. Selama berguru di Pesantren Musthafawiyah sewaktu libur Pesantren, ia pergi ke Propinsi Sumatera Barat tepatnya di kota Bonjol kepada Tuan Syech Muhammad Said seorang Alim dan Keramat dan pengikut Tarikat Naqsyabandiyah.
Setelah berguru di Pesantren Musthafiyah selama 4 tahun, pada tahun 1969 Syech Ali Akbar Marbun menunaikan ibadah Haji ke Mekkah dengan menumpang kapal maritim Ambolombo selama 2 minggu.
Setelah menunaikan ibadah haji, ia tinggal bermukim di Mekkah untuk belajar. Mula – mula berguru di Masjidil Haram, alasannya yaitu pada masa itu Para Ulama terkemuka ramai mengajar di Masjidil Haram. Disanalah ia berguru kepada Al-Fadhil Al-Alim Sayyid Alawi bin Abbas Al-Maliki Al-Hasani, seorang alim dan terpandang di tanah suci Mekkah dan termasyhur dalam bidang Hadits. Dan juga berguru kepada Sayyid Amin Al Kutbi, Sayyid Al-Arabi, Syech Thaha Yamani, Syech Muhammad Hindi, ia juga berguru kepada Sayyid Hasan Fad’aq, Syech Muhammad Nur Saif, Syech Thaha As Syaibi, Sayyid Hamid Al-Kaff berguru dirumahnya selama di Mekkah.
Beliau juga berguru pada Madrasah As Saulatiyah, salah satu Madrasah pertama yang didirikan di kota suci Makkah oleh Siti Saulatiyah seorang wanita kaya dari India.
Setelah berguru + 4 tahun di Saulatiyah, ia melanjutkan berguru ke Perguruan Sayyid Muhammad Alawi Al-Maliki Al-Hasani hingga pulang ke tanah air. Sayyid Muhammad Alawi Al Maliki Al Hasani yaitu seorang ulama populer di mancanegara ini, anak dari Sayyid Alawi Abbas Al-Maliki guru pertama Syech Ali Akbar Marbun.
Maka pada tahun 1978 Syech Ali Akbar Marbun pulang ke Medan dan mendirikan Pesantren Al-Kautsar Al-Akbar.
