તેમનો જન્મ 1943માં વિસનગરમાં અજામિયાં અનુમિયાંને ત્યાં થયો હતો. મૂળ વતન વિસનગર તાલુકાનું નાનકડું ગામ ગુંજા. યુવાકાળે વિદ્યાભ્યાસ તરફ દોરાતા તેમણે ધર્મ અભ્યાસ આદરેલો. ઉપરાંત, તેમણે ષડ્દર્શન અને યોગવિદ્યાનું જ્ઞાન પણ મેળવેલ. 12 વર્ષની ઉંમરે તેમણે પ્રેમમસ્ત સૈયદ સાહેબની વિસનગરની મુલાકાત દરમિયાન ખૂબ સેવા કરી હતી અને તેનાથી તેમનો પ્રભુપ્રેમ પાક્કો થયો. શરૂઆતમાં તેઓ એકાંતમાં રહેતા પણ પછી તેમના સગા અને ભક્તોના આગ્રહથી કાજીવાડાની એક જૂની મસ્જિદમાં રહેતા થયા. 1881ના વર્ષમાં તેમણે મક્કા અને મદીનાની મુલાકાત લીધી હતી. તબિયત બગડતા તેઓ પાલનપુરમાં સ્થાયી થયા, જ્યાં તેમનું 22 ઑક્ટોબર, 1916ના રોજ અવસાન થયું.
તેમણે ગુજરાતી અને ઉર્દૂમાં સર્જન કર્યું છે. ‘અનવરકાવ્ય’માં તેમની ભક્તિ વિશેની ઘણી કવિતાઓનો સમાવેશ થયો છે. તેમની કવિતા સૂફીવાદમાં પ્રેમભક્તિની સમજણ આપે છે. કાજી સાહેબની રચનાઓને શેઠ હઠીસીંગ કાગળ ઉપર ઉતારતા. આ સત્સંગમાં કાજી સાહેબના ભજન, ગરબી, પદ, ગઝલ, નસીહત અને અન્ય પ્રકારની રચનાઓ પણ છે. તેમણે ભકિત શૃંગારની ગરબીઓ પણ રચી છે. મહંમદ પયગંબર સાહેબની સ્તુતિ પણ તેમણે કરી છે.