कहा जाता है कि हजरत मुहम्मद के उपदेशों के दो पक्ष थे- एक बुध्दि पक्ष और दुसरा हदयपक्ष। बुध्दि पक्ष की अभिव्यक्ति कुरान में हुई हैं किन्तु उसका हदयपक्ष अछूता रहा। आगे चलकर उलेमाल्लों ने कुरान के उसी बुध्दि पक्ष का उपदेश दिया। हदयपक्ष को त्याग और तपस्या का जीवन व्यतीत करनेवाले, सुफ़ी रहस्यवादियों ने अपनाया। हिजरी सन की दूसरी शताब्दी से ये सूफ़ी रहस्यवादियों ने अपनाया। हिजरी सन की दूसरी शताब्दी से ये सूफ़ी नाम से प्रसिध्द हुए। यह एक संत सम्प्रदाय था, जिसमें सरलता, सादगी, सन्यास, साधना एवं पतिव्रता को विशेष महत्व दिया जाता था। इस प्रकार इस्लाम के रहस्यवादी सूफ़ी कहलाये और उसका दर्शन 'तसव्वुफ'१ किन्तु प्रारंम्भ में इस्लाम में सूफी-मत कोई ऐसा सुसंगठित सम्प्रदाय नहीं था, जिसके निर्दिष्ट सिध्दान्त हों। साधक अपनी व्यक्तिगत साधना में ही तल्लीन रहा करते थे और त्याग एंव तपस्या को महत्व देते थे, किन्तु आगे चलकर अनके सिध्दान्त, मन और सम्प्रदाय बन गए। 'सूफ़ी' शब्द का व्यवहार पहले-पहल कब हुआ ? यह बताना बहुत कठिन है, किन्तु कुशेरी का मत है कि ईसा की ९ वीं शताब्दी के प्रारम्भ में इसका प्रयोग होता था। 'नफहात-उलउन्स' में जामी ने कहा है "कि सर्व प्रथम आठवीं शताब्दी के उत्तरार्द्ध में इस शब्द को अपने नाम के साथ जोड़ने वाला कूफा का अबूहाशिम था"