Beliau berasal dari daerah gorot bagian wilayah tarim hadramaut, dibawah asuhan ayahandanya  beliau menimpa ilmu-ilmu agama dan kemudian berguru pada ulama’ lain di daerahnya, termasuk salah satu gurunya adalah Qutbul Irsyad wa Ghoutsul Bilad Al Habib  Abdullah bin Alwi Al Haddad.

Setelah mendapatkan pembekalan ilmu agama yang cukup beliau mengikuti tradisi para salafnya berdakwah ke berbagai daerah menyebarkan agama dan syari’at Allah SWT. Mulai dari India, Malaysia, Pasai, dan menetap cukup lama di daerah Angsana Kalimantan Selatan untuk selanjutnya masuk kepulau Jawa melalui Surabaya dan kemudian menetap di Mataram (sekitar Jogjakarta) untuk beberapa lama.

Dalam masa beliau singgah di Mataram ini banyak peran-peran dan jasa  yang beliau berikan pada kerajaan Mataram terutama dalam mengatasi konflik pada masa sultan kurat I sehingga beliau mendapat gelar dari kerajaan sebagai Panembahan Tejo Jati Kusumo dan diantara jasa beliau adalah menentukan batas pemisah keraton Jogjakarta dengan keraton Kertosuro.

Mukim di Geritan

Mengakhiri lawatan dakwah panjang yang telah beliau lakukan beliau akhirnya memilih Pekalongan sebagai tempat pengembaraan yang terakhir . dari kota Pekalongan itu beliau memilih wilayah karang anyar yang lokasinya berada diantara Kajen dan Wono pringgo, tepatnya di desa Geritan.

Nama Gertian itu sendiri menurut sebagian riwayat/versi berasal dari nama tempat kelahiran beliau gorot   (قارة) yang kemudian mengikuti dialek masyarakat Pekalongan  menjadi Geritan dan sebagian riwayat lagi kayu geritan, kayu yang mengeluarkan suara. Entah kebenarannya wallahu a’lam.

Sebagian orang-orang dekat beliau di Mataram juga mengikuti jejak dakwah beliau membantu dan menetap hingga wafat di makamkan di Geritan seperti senopati Pematang dan qodhi Mataram yang makamnya berada di dalam kubah.

Di Geritan ini beliau mendirikan padepokan atau pesantren mengajarkan ilmu syari’at juga ilmu pertanian dan ilmu kelautan kepada para santri yang datangdari berbagai daerah.

Silsilah nasab beliau
Beliau adalah Al Arif Billah Al ‘Alim Al ‘Allamah Al Bahr Al Fahamah Al Habib Abu Bakar bin Thoha bin Muhammad bin Syaikh bin Ahmad bin Yahya  bin Hasan Al Ahmar bin Ali Al ‘Inar bin Alwi bin Muhammad Mauladdawilaih bin Ali bin Alwi bin Muhammad Faqihil Muqoddam bin Ali bin Muhammad Shohib Mirbath bin Ali Kholi’ qosam bin Alwi bin Muhammad bin Alwi bin Ubaidillah bin Ahmad Al Muhajir bin Isa bin Muhammad An Naqib bin Ali Al Uraidhi bin Ja’far Shodiq bin Muhammad Al Baqir bin Ali Zainal Abidin bin Husain bin Ali Bin Abi Tholib dan bin Fathimah Azzahro’ binti Rosulillah SAW.

Jasa-jasa beliau
Disamping perannya yang nyata dalam perkembangan islam ditanah Jawa khususnya di Pekalongan ada peran beliau yang tidak kalah penting adalah meredakan konflik berkepanjangan dalam kerajaan Mataram dimana kedatangan beliau telah di isyarohkan oleh Al Habib Abdurrohman bin Muhammad bin Abdulloh Al ‘Idrus kepada Hamengkubuwono I sebagai jawaban riyadloh yang beliau lakukan di gunung kemuning. Riyadloh Hamengkubuwono tiada lain mengharap petunjuk menyelesaikan konflik dalam istana dan beliau Al Habib Abdurrohman Al ‘Idrus menyampaikan bahwa yang akan menyelesaikan konflik tersebut adalah Al Habib Abu Bakar bin Yahya karenanya sulthan tidak perlu khawatir, karena beliau akan datang.

Betul apa yang disampaikan, tak berapa lama Al Habib Abu Bakar datang dan menyelesaikan konflik dengan membagi kerajaan menjadi dua, pembagian itu sendiri dilakukan dengan cara unik, beliau membawa sebuah kendi berisi air dan naik diatas sajadah sekonyong - konyong  sajadah itu terbang, beliau mengikuti perjalanan sajadah sambil mengucurkan air dari kendi, tempat-tempat kucuran air tersebut membentuk aliran yang kemudian dikenal dengan kali wedi sekaligus menjadi pembatas dua wilayah kerajaan.

Al Habib Abdurrohman Al Idrus sendiri didalam istana bertindak sebagai mufti kerajaan yang saran dan nasihatnya selalu diperhitungkan. Dari perannya beliau mendapat gelar pangeran besar, sementara Al Habib Abu Bakar di anugerahi gelar pangeran tejo jati kusumo atau panembahan tejo jati kusumo.