明治４年（１８７１年）１１月、岩倉使節団の事実上の団長として横浜を出港した大久保と、廃藩置県の後始末のみに専念し、新規事業や人事には手を付けないことを約束して留守政府の統率を引き受けた西郷の運命は明暗を分けたかに見えた。大久保が功を焦った伊藤の進言を不用意に受け入れて何の準備もないままに「安政の不平等条約」として知られる条約改正交渉に踏み込んで「大敗北」を喫したのとは対照的に、西郷は廃藩置県の理念を実現するための政策の立案と執行を各省に任せ、最後の責任は自分が負う方針を鮮明にし、これを歓迎した各省の官僚たちは一斉に封建制下の旧制度を廃し、四民平等の理念を反映した新制度へと改める改革政策を続々と実行し、近代国家の基盤を固める成果を挙げていったのである。
順調な滑り出しを見せた留守政府に最初の攻撃の矢を放ったのは西郷の旧主久光であった。彼は現在の鹿児島県知事に相当する「県令」の職に就任したいとの請願を政府に発したのである。それは武士道の理念を尊ぶ革命家西郷の内面に潜む根本的矛盾を突くものであった。西郷が主導した廃藩置県とは、「藩」を廃して政府の直轄する「県」に改め、旧藩主を領地から完全に切り離して東京に移住させ、「華族」の称号を与えて「皇室の藩屏（近臣、守護者）」と位置づけ、彼らに広大な屋敷と家禄を与えて無害な貴族と化すことを意図した措置であった。ところが全藩主がこれに従う中、久光はただ一人自らが県令に就任し、旧家臣を県庁の要職に起用して鹿児島県の統治を継続する意思を鮮明にしたのである。
それは西郷の内に潜む深刻なジレンマを浮上させる結果をもたらした。革命の指導者にして現首相格としての彼は当然に久光の要求を廃藩置県の理念に反するものとして斥けなければならないのだが、武士道を尊ぶ薩摩士族でもある彼にとって旧主の正式な要求を公然と却下することは「君臣の義」に背く不忠の行為に外ならなかったのである。彼は深い葛藤に沈んだ末に「主君への忠」よりも「国家への義」を優先して久光の要求を斥けた。ただでさえ険悪であった久光と西郷の主従関係はこれによって完全に破綻し、久光は政府の任命する県令を受け入れず、自身の東京移住を拒否し、西郷の罷免を求めて止まず、苦慮した西郷は翌明治５年（１８７２年）５月、久光を慰撫するために天皇をはるばる鹿児島まで連れ出して久光との対面を演出したが、彼自身は久光への挨拶に出向かなかったためにまたも彼の激怒を被って逆効果となる不首尾に終わった。
西郷の試練はさらに続く。鹿児島からの帰途、四国の多度津港に錨を下ろした船中で軍からの急報が届いたのだ。それは西郷が連れて来た鹿児島県士族を主力とする近衛兵たちが、長州出身の近衛都督、山県有朋の辞職を求めて「沸騰」したことを告げるものだった。７月１２日、天皇一行と別れて急遽帰京した西郷は、山県と政商山城屋が癒着した果ての陸軍公金流用事件の発生を知る。この件に関し、西郷が下した決断は驚くべきものだった。彼は山県の不正を咎めず、事件を隠蔽して近衛兵たちを抑圧し、その廃絶を考え始めたのだ。それは権力者の不正や商人との癒着、奢侈贅沢を蛇蝎のごとく嫌悪し、政府への出仕を求められた際に「どろぼふの仲ケ間」になるのは嫌だと言ってこれを拒絶し、岩倉使節団の壮行式に際しては、時の大蔵大輔で「今清盛」の異名を取った井上馨を公然と「三井の番頭さん」呼ばわりした西郷とも思えない行動であった。彼はいかなる理由によって山県を庇い、その政治生命を救おうとしたのだろうか。
それは近代陸軍の創設を託す人材としての山県の貴重さにあっただろう。その役割は本来、第二次長州征伐と上野戦争の勝利に貢献した大村益次郎のものだったが、明治２年（１８６９年）、彼が京都で暗殺された後、その志を継げる者は文久３年（１８６３年）の長州藩奇兵隊の創立以来数々の激戦を戦い抜き、西洋に留学して各国の軍制を研究した山県しかありえず、ここで彼を処罰すれば軍の信用失墜と組織崩壊の危機が迫ると考えたと推定される。西郷は、薩長土から集めた御親兵の後身である近衛兵たちが出身藩閥と武士であった頃の身分に固執して長州藩の足軽身分であった山県中将の指導に従わず、彼が採用したフランス流の階級制度に反撥する「難物」となったことの方を問題視し、近衛兵を解散して徴兵制による近代陸軍への移行を急ぐべきだと考えを改めつつあり、その構想を実現するためにも山県の軍政能力を是非とも必要としたのだと考えられる。こと軍事に関する限り、西郷はたとえ巨大な不正疑惑の当事者であろうとも卓越した能力の人材を求める徹底した実力本位論者だったのである。
一方で、西郷の一任を受けた各省の官僚たちが進めていった政策が実行段階に入る頃、西郷は彼の信念や価値観では解決しえない問題に苦悩することになる。それは予算を巡る大蔵省と大幅な増額を要求する各省との対立である。明治５年（１８７２年）秋、大蔵省は各省の翌年度の予算請求に対し、財政難を理由にほぼ半額に削減する一方、山城屋事件を起こした同郷の山県率いる陸軍にはほとんど全額の８００万円を認め、これに憤激した佐賀藩出身の江藤司法卿との激烈な対立に陥ったのである。両者の対立は長州と佐賀の藩閥闘争の様相を呈し、江藤は西郷が不問に付した山県の公金流出事件の独自捜査に乗り出すと共に、井上大蔵大輔の尾去沢鉱山事件を徹底的に追及し、彼らを失脚寸前にまで追い詰めてゆく。
この事態に西郷はまったくと言っていいほど指導力を発揮することができなかった。問題の根源は政府の慢性的な財政危機にあり、大蔵省は各省の予算請求を大幅に削減せざるをえなかったが、井上の露骨な長州閥優先の配分方針は予算請求額の半分を削られた佐賀藩出身の江藤司法卿、大木文部卿の激怒を招き、司法権を握る江藤が山県と井上の汚職疑惑を徹底的に捜査して彼らを追い詰める事態に西郷はまったく打つ手がなかったのである。
それは大蔵省の財政危機感と各省の進める野心的な革命政策が要求する巨額予算請求との衝突に加え、長州藩と佐賀藩の藩閥利害の対立、さらには、より根源的な政府そのものの主導権争いが絡んだ複雑な政争に発展してゆくが、軍人として平和的な手段によっては解決しがたい対立を武力の行使あるいはそれを背景とする土壇場の交渉によって一挙に解決することを本領とする西郷は、このように複雑な要因が絡んだ政争の仲裁に乗り出し、双方がぎりぎり合意可能な妥協点を見出して両者を説得し、解決に導く政治的手腕の持ち主とは到底いえない人物だったのである。
そのさなかの明治５年（１８７２年）１１月、西郷を罷免しない限り上京には応じられないと主張する久光から、「要路の人物」（それが西郷以外の何者でもないことは明白だった）を一人派遣してもらえれば十分に論談を遂げたい、と記した三条太政大臣および徳大寺宮内卿宛の書簡を見せられた西郷はただちに帰郷を決意、１１月１０日に東京を出発した。