6 जनवरी 661 यानी 19 रमजान 40 हिजरी को इराक के कूफा की मस्जिद में ज़हर आलूद खंजर से अब्दुर्रहमान पुत्र मुलजिम नमाज़ के दौरान हज़त अली पर कातिलाना हमला किया. इस हमले में हज़रत अली बुरी तरह जख्मी हुए और अगले दो दिनों तक जख्म से लड़ते रहे. जख्म ज्यादा गहरा होने की वजह से ठीक ना हो सका और 21 रमजान 40 हिजरी को हज़रत अली को शहादत हुई.
19 रमजान को हजरत अली इफ्तार के लिए अपनी छोटी बेटी कुलसुम के यहां तशरीफ लाए थे. हजरत उम्मे कुलसुम फरमाती हैं कि जब 19वीं रमजान की शाम हुई तो मैं बाबा की खिदमत में इफ्तार के लिए एक बर्तन ले गई. जिसमें दो जौ की रोटियां, थोड़ा से नमक और दूध का प्याला था. जब हज़रत अली नमाज़ से फारिग हुए तो दस्तरख्वान की ध्यान किया, दस्तरख्वान देखकर हजरत अली ज़ोर -ज़ोर से रोने लगे और बोले- क्या कोई बेटी अपने बाप के साथ ऐसा कर सकती है जो तुमने किया है?
हज़रत अली फरमाया,”आपने एक दस्तरख्वान पर दो खाने लाकर रख दिए, क्या तुम चाहती हो कि तुम्हारा बाप चाहती हो कि तुम्हारा बाप अल्लाह रब्बुल इज्ज़त की बारगाह में देर तक खड़ा रहे? मैं तो सिर्फ अपने भाई रसूलुल्लाह सल्लल्लाहु अलैहि वसल्लम की पैरवी करता हूं. जिन्होंने कभी एक दस्तरख्वान पर दो खाने तनावुल (दो खाने एक साथ नहीं खाए) नहीं फरमाए.”
इसके बाद हजरत अली ने बेटी कुल्सूम से कहा,”बेटी एक चीज उठा लो” जिसके बाद बेटी कुलसुम ने दूध का प्याला उठा लिया. इसके बाद हज़रत अली ने जौ की एक रोटी नमक के साथ खाई और फिर इबादत में मसरूफ हो गए. रात भर यही सिलसिला चलता रहा. जब सुबह हुई तो हजरत अली तैयार हो कर मस्जिद में तशरीफ ले गए. वहां उन्होंने अज़ान पढ़ी. अजान पढ़ने के बाद उन्होंने मस्जिद में सोए हुए लोगों को जगाना शुरू कर दिया और हर शख्स से कहते कि खुदा तुझपर रहम करे, उठो नमाज पढ़ो.
हजरत अली लोगों को जगाते-जगाते एक ऐसे शख्स के पास पहुंचे जो मुंह के बल लेटा हुआ था. इस दौरान उसने अपनी तलवार छिपा रखी थी. हजरत अली ने उससे कहा,”ए शख्स, नींद से बेदार होजा, इस तरह सोना अल्लाह को पसंद नहीं है.” हजरत अली ने उससे आगे कहा,”तू जो इरादा लेकर आया है वह इतना खौफनाक है कि उससे आसमान फट सकते हैं और जमीन को रेजा-रेजा हो सकती है.” इतना ही नहीं हजरत अली उससे आगे कहा,”अगर मैं चाहूं तो मैं तुझे यह बता सकता हूं कि तूने अपके कपड़ों में क्या छिपा रखा है. इतना कहने के बाद हजरत अली नमाज पढ़ाने के लिए मेहराब की जानिब चल दिए. जब हजरत अली पहला सजदा करने के बाद उठ रहे थे तभी तलवार छिपाकर सोने वाले शख्स ने उनकी गर्दन पर तलवार से हमला कर दिया.”तलवार की धार दिमाग़ तक उतर गई. ज़हर जिस्म में उतर गया.
अब्दुर्रहमान इब्ने मुलजिम के बारे में कहा जाता है कि उसने ये अटैक मुआविया के उकसावे में आकर किया. मुआविया अली के खलीफा बनाए जाने के खिलाफ था. अली के जिस्म में ज़हर फैल गया हकीमों ने हाथ खड़े कर दिए और फिर 21 रमजान को वो घड़ी आई, जब शियाओं के पहले इमाम और सुन्नियों के चौथे खलीफा अली इस दुनिया से रुखसत हो गए. मुआविया की दुश्मनी अली की मौत के बाद रुकी नहीं. उनके बाद अली के बड़े बेटे हसन को ज़हर देकर मारा गया और फिर कर्बला (इराक) में अली के छोटे बेटे हुसैन को शहीद किया गया.
हज़रत अली को गुसल उनके बेटे हज़रत हसन ने दिया था और उन्हें इराक के शहर नजफ़ में दफनाया गया था
अल-शेख अल-मुफीद के मुताबिक , अली नहीं चाहता था कि उसकी कब्र को उसके दुश्मनों द्वारा अपमानित किया जाए और इसके परिणामस्वरूप उसने अपने दोस्तों और परिवार से उसे चुपचाप दफनाने के लिए कहा। इस गुप्त कब्रिस्तान को उसके वंशज और छठे शिया इमाम इमाम जाफर अल-सादिक द्वारा अब्बासिद खलीफाट के दौरान बाद में पता चला था।अधिकांश शिया स्वीकार करते हैं कि इमाम अली मस्जिद में इमाम अली के मकबरे पर अली को दफनाया गया है जो अब नजाफ शहर है, जो मस्जिद अली नामक मस्जिद और मंदिर के आसपास बढ़ी है।
हालांकि, कुछ अफगानों द्वारा आमतौर पर बनाए रखा गया एक और कहानी, नोट करती है कि प्रसिद्ध शरीर ब्लू मस्जिद या रॉज-ए-शरीफ़ में अफगान शहर मजार-ए-शरीफ़ में उनके शरीर को ले जाया गया था और दफनाया गया था।