Begitu ucapanku hinggap di telinga mereka, maka mereka semua bangun dari tempat duduknya. Mereka berkata: “Tangkaplah orang yang keluar dari agamanya ini!” Mereka pun menangkapku dan memukulku hingga aku hampir mati. Lalu Abbas bin Abdul Muthalib paman Nabi Saw menarikku, ia berusaha melindungiku dari pukulan suku Quraisy. Kemudian ia berkata kepada mereka: “Celaka kalian!! Apakah kalian hendak membunuh seorang yang berasal dari Ghifar tempat berlalunya kafilah kalian?! Biarkan ia bersamaku!!”
Begitu aku siuman aku datang menghadap Rasulullah Saw. Saat Beliau melihat apa yang aku alami, Beliau bersabda: “Bukankah aku telah melarangmu agar tidak mengumumkan keislamanmu?!” Aku menjawab: “Ya Rasulullah, itu merupakan keinginan hatiku dan aku telah memenuhinya.”
Beliau bersabda: “Kembalilah ke kaummu dan beritahukan kepada mereka apa yang telah kau lihat dan kau dengar. Ajaklah mereka kembali kepada Allah. Semoga Allah Swt memberi manfaat buat mereka lewatmu dan memberimu balasan karena jasa baik yang kau lakukan kepada mereka. Jika kau mendengar bahwa aku sudah berdakwah secara terang- terangan, maka datanglah kepadaku!”
Abu Dzar meneruskan kisahnya:
Aku pun berangkat hingga tiba di perkampungan kaumku. Lalu saudaraku Anis menanyakan: “Apa yang telah kau lakukan?” Aku menjawab: “Aku telah masuk Islam, dan aku telah meyakininya.”
Tidak lama berselang, Allah pun melapangkan dadanya untuk menerima Islam. Ia berujar: “Aku tidak membenci agamamu. Aku kini masuk Islam dan meyakininya juga.”
Lalu kami berdua mendatangi ibu kami, kami mengajaknya untuk masuk Islam. Ia menjawab: “Aku tidak membenci agama kalian berdua.” Dan ia pun masuk Islam.
Sejak hari itu, keluarga ini telah masuk Islam dan berdakwah di jalan Allah pada daerah Ghifar. Mereka tidak pernah merasa bosan dan putus asa. Hingga banyak sekali dari penduduk Ghifar yang masuk Islam dan mendirikan shalat.
Sebagian dari penduduk Ghifar mengatakan: “Kami akan terus menjalankan agama kami hingga Rasulullah Saw hijrah ke Madinah maka kami akan masuk Islam.” Begitu Rasul pindah ke Madinah, mereka pun masuk Islam. Rasulullah Saw bersabda: “Ghifar, Allah memberikan maghfirahnya kepada mereka. Ghifar telah masuk Islam dan Allah akan membuatnya senantiasa selamat.”
Abu Dzar tinggal di kampungnya sehingga peristiwa Badr, Uhud dan Khandaq terlewatkan olehnya. Kemudian ia datang ke Madinah dan ia mengkhususkan dirinya untuk berkhidmat kepada Rasulullah Saw. Rasulullah Saw mengizinkannya dan ia begitu gembira dapat mendampingi dan melayani Rasulullah Saw.
Rasulullah Saw senantiasa memberikan penghormatan dan memuliakan Abu Dzar. Beliau tidak pernah berjumpa dengannya kecuali Beliau
menjabat tangannya. Beliau juga senantiasa menampakan wajah ceria dihadapan Abu Dzar.
Saat Rasulullah Saw kembali kepangkuan Tuhannya,Abu Dzar tidak sanggup lagi tinggal di Madinah Al Munawarah setelah ditinggalkan pemimpinnya dan kehilangan petunjuknya. Ia pun pergi ke sebuah desa di Syam dan tinggal di sana selama pemerintahan Abu Bakar As Shiddiq dan Umar Al Faruq ra.
Pada masa kekhalifahan Utsman, Abu Dzar yang tinggal di Damaskus mendapati kaum muslimin sudah begitu mencintai dunia dan hidup bermewah-mewahan. Hal ini membuat ia keheranan dan menolaknya. Utsman pun memintanya untuk datang ke Madinah dan ia pun datang. Akan tetapi ia merasa sumpek dengan manusia yang begitu cinta dunia, dan manusia pun menjadi benci kepadanya karena ia begitu saklek kepada mereka. Maka Utsman memerintahkannya untuk pindah ke Al Rabdzah, yaitu sebuah desa kecil yang ada di Madinah. Ia lalu berangkat ke sana dan tinggal di sana di sebuah tempat yang jauh dari keramaian manusia. Ia berzuhud dari hal yang manusia miliki, senantiasa dengan apa yang dijalankan Rasul dan kedua sahabatnya yang lebih mendahulukan akhirat daripada dunia.
Suatu hari ada seseorang yang datang ke rumah Abu Dzar dan melihat ke sekeliling rumahnya, akan tetapi ia tidak menemukan barang apapun.
Orang itu bertanya: “Wahai Abu Dzar, mana perabotanmu?!
Ia menjawab: “Kami memiliki rumah di sana (maksudnya akhirat).
Kami mengirimkan perabotan kami yang baik ke sana.
Orang itupun mengerti maksud Abu Dzar dan berkata: “Akan tetapi engkau harus memiliki perabotan selagi engkau berada di sini (maksudnya dunia).” Ia menjawab: “Akan tetapi pemilik rumah ini tidak akan membiarkan kami tinggal di sini.”
Amir (pemimpin Syam) mengirimkan 300 dinar kepada Abu Dzar dan berkata kepadanya: “Gunakanlah uang ini untuk mencukupi kebutuhanmu!” Abu Dzar menolaknya sambil berkata: “Apakah Amir negeri Syam Abdullah tidak menemukan orang yang lebih miskin dariku?”
Pada tahun 32 Hijriyah ajal datang menjemput sang hamba yang taat beribadah dan hidup zuhud, yang disebut oleh Rasulullah Saw sebagai: “Bumi tidak pernah mengandung dan langit tidak pernah menaungi orang yang lebih jujur dari Abu Dzar.”