阿波在陣中の観応３年（１３５２年）に南朝の京都侵攻で父が戦死すると、頼之は弔い合戦のため軍を率いて上京、将軍継嗣義詮に属し、讃岐の軍勢を率いる弟の頼有らとともに男山合戦に参加して南軍を駆逐した。
その間に阿波の南軍が再び活発になると、頼之は父の阿波守護を継承して領国経営に従事し、小笠原氏や伊予の河野氏、国人勢力らとの戦いの中、次第に四国における領国支配体制を固める。
このころ南朝と通じて山名時氏ら反幕府勢力を結集させ、中国地方から伊予にかけて勢力を及ぼし、京都を脅かしていた足利直冬（義詮の異母兄）に対し、義詮が征討の軍を起こした際は、阿波の頼之は伊予への発向が命じられ、文和３年（正平９年、１３５４年）には河野通盛に代わって伊予の守護に補任された。
義詮軍は翌年進発したが、越前守護斯波高経の離反で直冬勢に京都を奪還されたため、頼之は引き返した義詮とともに京都奪還に加わり、摂津神南合戦に加わった。
南軍駆逐後は従兄の清氏とともに三宝院賢俊を訪ねるなど京都に滞在し、右馬頭に任じられた。
翌延文元年（正平１１年、１３５６年）に再び直冬征討軍が起こされると、頼之は備後守護に補任され、九州で勢力を持っていた直冬の追討を指揮する大将を命じられた。
この時頼之は、闕所処分権を将軍尊氏に拒否されたため、就任を固辞し阿波へ下国しようとしたが、従兄清氏の説得で帰京したという。頼之は、阿波の南軍に対しては有力被官新開氏を守護代として備えつつ、自らは中国地方へ発向して備前・備中・備後・安芸・伊予など数カ国を統轄し、各地で軍勢催促や感状授与などの軍事指揮権のほか、所領安堵や守護権限など行政職権を行使している。
正式な幕職であるかは不明だが、頼之は軍事指揮者として中国大将、地方統轄者としては中国管領と呼ばれており、長門探題として中国地方に勢力を広げた直冬に対抗させる幕府の意図があったとも考えられている。
頼之が直冬勢力を逼塞させ中国地方を平定しているころ、中央では将軍尊氏が死去して義詮が２代将軍となり、頼之の従兄清氏が執事に任命された。だが、貞治元年（正平１７年、１３６２年）に清氏が斯波氏や佐々木道誉らとの政争に敗れ南朝側に奔って阿波へ下ったことから、頼之は義詮から清氏討伐を命じられた。７月に讃岐へ移った清氏勢を、頼之は宇多津（香川県綾歌郡宇多津町）の兵を率いて白峰城で破った。清氏はこの戦いで敗死した。
清氏討伐中、再び活発化した直冬勢力だったが、その有力な支持勢力だった大内弘世や山名時氏らが幕府方に帰順していたため、やがて鎮圧された。時氏の帰順工作には頼之も関わっていたとも言われる。
頼之は、中国地方の安定により中国管領を解かれたものの、本国の阿波に加えて讃岐・土佐の守護を兼ね、さらに伊予の河野通朝を追討して四国を平定した。
管領時代
貞治５年（１３６６年）に執事（管領）斯波義将とその父高経が失脚する（貞治の変）。
頼之は幕府に召還され、佐々木道誉や赤松氏ら反斯波派の支持や鎌倉公方足利基氏の推挙もあって、死去直前の義詮の命により管領に就任した。
頼之は当時１１歳の新将軍義満を補佐し、官位の昇進、公家教養、将軍新邸である花の御所の造営など将軍権威の確立に関わった。
内政面では倹約令など法令の制定、応安元年（１３６８年）には公家や寺社の荘園を保護する半済令（応安大法）を施行する。またばさらと呼ばれる華美な社会風潮を規制した。
南朝勢力に対しては、応安２年（１３６９年）に楠木正儀を足利方に寝返らせる工作に成功し、翌年には今川貞世（了俊）を九州探題として派遣して懐良親王ら九州の南軍を駆逐させ、平定を推し進めた。
応安３年（南朝の建徳元年、１３７０年）８月には、北朝後光厳天皇が実子緒仁親王（後円融天皇）への譲位を内々に諮問すると、後光厳の兄の崇光上皇が実子の栄仁親王が正嫡であると主張したため皇位継承問題が発生した。
頼之は事態収拾は聖断によるべきと深入りを避けつつも天皇側を支持するが、上皇側は義詮の正室で義満の継母渋川幸子らに運動して対抗すると、頼之は光厳院の遺勅を示して介入を封じた。
さらに比叡山など伝統的仏教勢力と五山の南禅寺など新興禅宗勢力の抗争から政治問題が発生した。
天龍寺住職春屋妙葩の発議で進められていた南禅寺の楼門建造を幕府は助成していたが、南禅寺と園城寺の抗争から南禅寺僧定山祖禅が著作において天台を非難すると、叡山側がこれに猛抗議して朝廷に定山祖禅の流罪と楼門の破却を求めた。山門側が神輿を奉じて入京すると、頼之は内裏を警護させ強訴を阻止し、朝廷の要請もあり定山祖禅は流罪に処したが楼門造営は続行させた。