أرجع الحجر الأسود من القرامطة بعد أن عرض عليهم الكثير من الأموال فى سبيل إرجاعه ولكنهم رفضوا، ولكنهم امتثلوا إلى الأمر حينما حددهم المهدى العلوى الفاطمى، فأجبروا على رد الحجر الأسود إلى مكانه وذلك عام 339.