天文２０年（１５５１年）に丹波衆を率いた元成・政勝が長慶軍に敗れ（相国寺の戦い）、天文２１年（１５５２年）１月に長慶と義輝が和睦して義輝が上洛、氏綱が細川氏当主となり嫡男の聡明丸（後の昭元）が長慶の人質になっても晴元は和睦を認めず出家し、若狭守護の武田信豊を頼り若狭国へ下向する。信豊は家臣の細川氏の領国である丹波へ派兵する。
それからは丹波国から度々南下して三好軍を脅かし、天文２２年（１５５３年）３月に義輝と三好長慶が決別、７月に義輝から赦免されると再度義輝と共に長慶と交戦した。
しかし、８月に義輝方の霊山城が三好軍に落とされると義輝と共に近江国朽木へ逃亡した。
丹波国では香西元成・三好政勝らが波多野晴通と手を結び長慶派の内藤国貞を討ち取ったが、国貞の養子で長慶の部将・松永長頼に反撃されて丹波の殆どを平定され、弘治３年（１５５７年）に晴通が長頼と和睦して丹波は三好領国となった。
播磨国でも元成が明石氏と結んだが、弘治元年（１５５５年）に明石氏が三好軍に攻撃され降伏、勢力拡大した長慶の前に手も足も出せなくなった。
永禄元年（１５５８年）に上洛を図り将軍山城で三好軍と交戦するも（北白川の戦い）、六角義賢の仲介で義輝と三好長慶が再び和睦を結ぶと坂本に止まる。
永禄４年（１５６１年）隠居の晴元は次男の細川晴之を細川家の当主に見立て、六角・畠山軍とともに近江に反三好の兵を挙げさせる。
三好軍に敗退し晴之は戦死、三好長慶と和睦するも、摂津の普門寺城に幽閉された。
永禄６年（１５６３年）３月１日に普門寺で死去した。享年５０。
晴元の死後は昭元が京兆家の家督を相続したが、管領に任命されず、かつての威勢を取り戻せず没落していった。
細川氏綱は管領に就任したとされるものの史料的な裏づけは無くこれも三好長慶の傀儡のまま死去、以降は誰も管領に任命されなかった。
後に、昭元は織田信長に仕え、子孫は縁者の秋田氏を頼り、三春藩の家老として遇された。
元長の子の三好長慶は、足利将軍家や晴元と対立しながらも、着実に勢力を伸ばしていった。
そして天文１８年（１５４９年）、晴元の側近で同族の三好政長を討ち取った長慶を恐れた晴元は、１３代将軍足利義輝と大御所足利義晴を連れて近江坂本へ逃れた（江口の戦い）。
江口の戦い（えぐちのたたかい）は、天文１８年（１５４９年）６月１２日から６月２４日にかけて摂津江口城（現在の大阪府大阪市東淀川区）において三好長慶軍と同族の三好政長（宗三）が衝突した戦いである。
江口合戦とも呼ばれる。
開戦までの経緯
三好氏の内部確執
三好長慶は細川晴元の政権下で太平寺の戦い・舎利寺の戦いなど戦功を積み重ね、三好氏の総帥としての地位を着実に固めてゆくにつれて、晴元に深く信頼される一族の長老・三好政長の存在は、長慶にとって無視できなくなってきた。
天文１７年（１５４８年）５月６日に摂津国人池田信正（政長の娘婿）が晴元の屋敷で切腹させられた一件も政長の讒言が疑われ、遺児で政長の外孫でもある長正が後を継いだことは晴元の介入に対する他の摂津国人の反発を招いた。
天文１７年８月１２日、長慶は晴元の近習（田井源介、平井丹後守など）に対して三好政長・政勝父子の誅殺を願い出た。
一族の統率を乱す不届者を除くというのが表向きの理由だった。
しかし、この長慶の申し出は晴元には聞き入れられず、前日の１１日に信正の居城だった池田城で内紛が起こり、家臣団が政長派を城から追放して長慶に合力を誓ったため事態は一触即発となった。
そこで長慶は、晴元に敵対する細川氏綱の陣営に転属。岳父である河内守護代・遊佐長教らに出兵を求めつつ、自身も軍事行動を開始した。
これに対して近江の六角定頼（晴元の岳父）はこの行動を「謀反」とする一方で、晴元は和泉守護細川元常、岸和田兵部大輔、紀伊の根来衆らに出兵を求めた。