اقدامات شهید مدنی در تثبیت اوضاع تبریز، مقابله با اقدامات سازمان مجاهدین خلق(منافقین) و نیز بنی صدر و خنثی کردن توطئه های دشمنان کشور، کینه ی عمیق دشمنان را موجب شده بود. به دلیل این بود که آنان درصدد ترور و به شهادت رساندن وی برآمدند.
منافقین روز ۲۰ شهریور ۱۳۶۰ او را مانند جدش ـ حضرت علی بن ابیطالب ـ در محراب به شهادت رساندند. آیت الله مدنی به سان تمام نماز جمعه ها، بعد از خطبه های نماز جمعه شروع به نماز خواندن کرد که در آن لحظه یکی از حضار و نمازگزاران به ایشان نزدیک شد. حجت الاسلام والمسلمین اترابی چهرگانی که این صحنه را شاهد بود در این باره می گوید:
«من در نماز جمعه بودم. شاید ده قدم با آیت الله مدنی فاصله داشتم ایشان پس از اتمام نمازهای جمعه، همیشه استحبابات نماز ظهر و عصر را هم می خواندند. وقتی که می خواستند شروع به نماز کنند، ناگهان یکی از افراد که به ظاهر قصد دادن وجوهات شرعیه به آیت الله مدنی را داشت، به ایشان نزدیک شد و در یک لحظه با انفجار خود آیت الله مدنی را به شهادت رسانید».
فرد مزبور مجید نیکو بود. روزنامه ی جمهوری اسلامی در ۲۱ شهریور ۱۳۶۰، شهادت آیت الله مدنی را این گونه گزارش کرد:
مقارن ساعت ۴۰ : ۱ بعدازظهر، هنگامی که آیت الله مدنی بعد از اتمام نماز جمعه ایستاده بود و حجت الاسلام میرزا نجف آقازاده ـ یکی از روحانیون تبریزـ مشغول سخنرانی بود که شخص ناشناس به منظور پرسش، به طرف آیت الله مدنی رفته، در حالی که تظاهر به آغوش گرفتن ایشان می نماید، وی را ترور می کند. بنا به گفته ی شاهدان عینی در این لحظه، دو انفجار متوالی هم روی می دهد که متعاقب آن شهید مدنی روی زمین می افتد و چندین نفر هم مجروح می شوند. ضارب نیز متلاشی می شود. در این حادثه، حدود بیست الی سی نفر مجروح شدند که به بیمارستان های تبریز منتقل شدند.
مهندس طاهری، استاندار وقت تبریز ـ در ساعت ۳ بعدازظهر در پیامی رادیویی ضمن اعلام خبر شهادت آیت الله مدنی مردم را به آرامش دعوت کرد و تأکید نمود:
«بار دیگر منافقین خونخوار تنی چند از ریش سفیدان و مبارزان ما را به شهادت رساندند. غافل از اینکه با این شهادت ها مردم ما با عزم راسخ تری به ادامه ی راه پرخون خود ادامه خواهند داد».
طبق وصیت آیت الله مدنی پیکر او می بایست به شهر مقدس قم منتقل می شد. بعد از ظهر ۲۱ شهریور ۱۳۶۰، میلیون ها سیاهپوش آذربایجانی با سینه ای چاک و چشمانی گریان مردی را بر دست های خود تشییع می کردند که سالیان درازی بود در عالم رؤیا از جدش امام حسین (ع) شنیده بود:« یا بنی انت مقتول» و اینک او به این آرزویش رسیده بود. مردم در حالی که شعارهایی چون «عزا عزاست امروز، روز عزاست امروز، امام جمعه ی ما پیش شهداست امروز»، «آمریکا ، آمریکا با خون وضو می گیرم، سازش نمی پذیریم»، «خدایا ، خدایا نگه دار رهبر ما …» سر می دادند. پس از گذشتن از خیابان های تبریز، درمیدان نماز آن شهر اجتماع کردند و به عزاداری پرداختند . و گوش به بیانات آیت الله مشکینی ـ امام جمعه ی وقت تبریزـ سپردند. بلافاصله پس از شهادت آیت الله مدنی، حضرت امام (ره) در حکمی، آیت الله علی مشکینی را به عنوان امام جمعه ی تبریز منصوب کردند. آقای هاشمی رفسنجانی در خاطرات سال ۱۳۶۰، خود در این زمینه می گوید: