山門側は尚も破却を求めて強訴を続け、朝廷や諸将も山門を恐れたため遂に屈し、７月には楼門撤去を決定する。
五山側では春屋妙葩が住職を辞するなど幕府の裁定に抗議し、五山側とは溝が生じることとなった。
康暦の政変
頼之の施政は、政敵である斯波氏や山名氏との派閥抗争、渋川幸子や寺院勢力の介入、南朝の反抗などで難航した。また、今川了俊の九州制圧も長期化していた。こうした中、頼之は辞意を表明して義満に慰留されることで信任を回復することも何度かあった。
しかし、康暦元年（南朝の天授５年、１３７９年）に頼之の養子頼元を総大将とする紀伊南朝征討が失敗する。
義満がこれに代えて反頼之派の山名氏清らを征討に向かわせ、さらに斯波氏や土岐頼康に兵を与えたところ、諸将は頼之の罷免を求めて京都へ兵を進め、斯波派に転じた京極高秀らも参加して将軍邸を包囲した。
この康暦の政変と呼ばれるクーデターの結果、頼之は義満から退去命令を受けて一族を連れて領国の四国へ落ちて行き、その途上で出家した。
後任の管領には斯波義将が就任し、幕府人事も斯波派に改められ、一部の政策は覆された。
義満は斯波派の頼之討伐の要望を抑えたが、政変を知った伊予の河野通堯は幕府に帰服すると斯波派と結んで討伐の御書を受け、頼之に対抗した。
頼之は管領時代に弟の頼有に命じて国人の被官化を進めていたことから、その力で通堯や細川正氏（清氏の遺児）らを破り、永徳元年（南朝の弘和元年、１３８１年）には通堯の遺児通義と和睦し、分国統治を進めていった。
復権と晩年
頼之の養子頼元は赦免運動を行い、康応元年（南朝の元中６年、１３８９年）の義満の厳島神社参詣の折には船舶の提供を手配し、讃岐の宇多津で赦免された。そして、明徳２年（１３９１年）に斯波義将が義満と対立して管領を辞任したことを機に、義満から上洛命令を受けた頼之が入京を果たした。
義満は頼之の管領復帰を望んでいたが、頼之は既に出家していたため、代わりに頼元を管領とし、頼之はこれを補佐することとなった。
幕府役職にない頼之を幕政に参画させるため、義満は将軍の私的な会合に近かった御前沙汰に頼之を加える形式で開催し、重要事項の審議を行った。
この先例は、後に義満が嫡男義持に将軍職を譲って出家した後、自ら幕政を主宰する場合にも用いられた。
明徳元年（１３９０年）、備後が乱れるにおよび、頼之は備後守護になってこれを平定した。
翌年の明徳の乱では幕府方として山名氏清と戦った後、再び京都に召喚されて幕政に関与したが、明徳３年（１３９２年）にはいって風邪が重篤となり３月に死去した。享年６４。
葬儀は義満が主催して相国寺で行われた。戒名は法号を用いて、永泰院殿桂巌常久大居士。
江戸時代の逸話集『雑々拾遺』によれば幼くして聡明さを見せ、『細川三将略伝』によれば従兄の細川清氏と力比べをしたなどの幼少時の逸話や、父頼春に伴われ夢窓疎石の法話を聞き感化されたという。
１０歳のころ、「主人の御用で使いにゆく途中で親の仇に出会ったらどうするか」が話題になったとき、たちどころに「親の仇を持つものはなによりも仇討ちを遂げるべきであり、そのあいだは主に仕えるべきではない」と述べたという。
文化的活動としては和歌や詩文、連歌など公家文化にも親しみ、頼之が詠んだ和歌が勅撰集に入撰している。
失脚して四国に落ちていく際に詠んだ漢詩『海南行』も有名である。また、軍事作法について記した書状も存在している。
幼少時に禅僧である夢窓疎石から影響を受けたとされ、禅宗を信仰して京都の景徳寺・地蔵院、阿波の光勝寺などの建立を行う。
管領を辞任して出家すると言い義満に引き止められたり、評議の場で故意に義満の怒りを買い将軍の権威を高めようとしたとされる。
京都での頼之の邸は、火事見舞いの記録などから六条万里小路（京都市中京区）付近と考えられており、幕府が花の御所（室町第、京都市上京区）へ移されるまでは出仕に近い場所であった。
『細川家譜』等に拠れば、明徳の乱に従軍した折、路傍の寺院で供え物を拝借したという。細川家ではこれを吉例とし、代々元旦には饗膳を供えたという。
江戸時代に徳川家光・家綱の２代にわたって老中を務めた阿部忠秋は、「（酒井忠勝・松平信綱などは）みな政治家の器にあらず、政治家の風あるは、独り忠秋のみありき」「細川頼之以来の執権」と評される。