پس از بازگشت به اردبیل این مجاهدات شکل جدّیتری به خود گرفت به طوری که او به عنوان کانون تحرکات ضدحکومتی در اردبیل و آذربایجان شناخته شده و از سوی سازمان امنیت رژیم شاه تحت تعقیب قرار گرفت. به این ترتیب مجبور به خروج از اردبیل و مهاجرت به تهران شدند. از هنگام مهاجرت به تهران در سال ۱۳۴۷ تا پیروزی انقلاب اسلامی ایران در سال ۱۳۵۷، او در کنار تلاشهای علمی خود، با تاسیس و اداره مراکزی چون موسسه مکتب امیرالمومنین(ع)، کانون توحید و مدارس مفید، به تربیت جوانان و دانشجویان مسلمان پرداخته و ضمن آشنا کردن آنان با مبانی اسلامی، در کنار سایر همرزمان خویش، از جمله آیت الله شهید مطهری و آیت الله شهید بهشتی، بذر انقلاب را در دل جوانان مسلمان کاشته و کادرهای اجرایی آینده انقلاب را تربیت کردند. بسیاری از آن جوانان، پس از پیروزی انقلاب اسلامی عهدهدار مسؤولیتهای مهمّی از جمله وزارت، نمایندگی مجلس، استانداری یا سفارت شدند و نقش چشمگیری در اداره کشور ایفا کردند.
با اوجگیری انقلاب اسلامی و مهاجرت امام خمینی (ره) به پاریس در سال ۱۳۵۷، شورای انقلاب اسلامی تشکیل شد و ۵ نفر از مهمترین شخصیتهای انقلابی، از جمله آیت الله موسوی اردبیلی، از سوی امام به عضویت این شورا منصوب شدند. این شورا رهبری انقلاب اسلامی را تا پیروزی آن و همچنین اداره کشور را تا استقرار نهادهای برخاسته از قانون اساسی به عهده گرفت.
امام خمینی (ره) نخست آیت الله موسوی اردبیلی را به دادستانی کل کشور و پس از شهادت آیت الله بهشتی، به ریاست دیوان عالی کشور منصوب کردند.
به این ترتیب تا چند ماه پس از وفات امام خمینی(ره) در سال ۱۳۶۸ ریاست قوه قضاییه ایران را بر عهده داشتند. از مهمترین اقدامات وی در این مدت، تجدید نظر و بازنویسی قوانین قضایی ایران و تطبیق آن با فقه شیعه بود. از جمله سایر سمتهای وی در این سالها میتوان به عضویت در نهادهای مهمی چون مجلس خبرگان قانون اساسی، شورای بازنگری قانون اساسی، مجلس خبرگان رهبری، شورای عالی انقلاب فرهنگی و هیات امنای فرهنگستان علوم اشاره کرد.