明治５年（１８７２年）１１月、旧主久光の叱責を全面的に受け入れて謝罪した西郷は、中央政局の激動をよそに翌６年４月までの５か月間東京に戻って来なかった。その理由は今も不明である。ある説は久光の上京を見届けるためだと言い、別のもっと厳しい説は、東京で深刻な様相を呈しだした大蔵省をめぐる問題を煩わしく感じ、久光問題を口実に鹿児島に逃げ込んだのだという。評伝『西郷隆盛』の著者家近良樹氏は後者を「近年有力」の説としている。その当否は私ごときには計りがたいが、西郷の心中に現実逃避の兆候が現れたと見る説に私は説得力を感じる者である。西郷は、戊辰戦争終結直後の明治元年（１８６８年）１１月にも政府を去って鹿児島に帰り、数１０日間日当山温泉に隠棲したことがある。その動機には共通するものがあると思われる。
明治元年の西郷は、温泉の湯に浸かりながら漠然と隠居の夢を見ていた。戦場で死ぬつもりで生きてきた彼は革命後にいかなる国家を建設すべきかのビジョンを持たず、新政府の最高権力者に昇り詰める野心も権力欲も持ち合わせていなかった。彼はまさに「命もいらず、名もいらず、官位も金もいらぬ（中略）始末に困る人」だったのだ。彼は薩摩藩の一家臣にすぎない身で、２６０余年に亘って諸大名を威圧し、ただの一度も叛乱を起こさせなかった幕府に叛旗を翻し、滅亡に追い込む驚天動地の成果をあげたのだが、まさにその瞬間から巨大な使命を果たし終えた達成感と共に、それに勝るとも劣らぬほどの虚脱感を抱え込むことになったと思われる。彼は戦いのさなかに討ち死にする運命を当然のこととし、むしろその日が来ることを待ち望む、死の想念に取り憑かれていたものと推察される。。
同じ理由で西郷の心中には、倒幕後に政府の最高位に就き、権力闘争を制覇して革命政策を実践する志の存在する余地がなかったと思われる。その頃には彼はもう生きていないのだからそれは当然である。だが、身分の上昇と共に 前線から遠ざけられてゆく西郷は、鳥羽伏見の戦いに始まった戊辰戦争に死に場所を得ず、永年慣れ親しんだ死の想念はしだいに彼から去ってゆく。そうして生き延びた西郷は、後事をすべて木戸や大久保に託して郷里の鹿児島に隠遁し、またも死に損なったという苦い自嘲を噛み締めながら５０日以上も温泉地に滞在し、兎狩りと湯治の日々を過ごす。もし藩主忠義が訪ねて来なければ、その日々はなおも続いたことだろう。
西郷が日当山温泉に隠棲を始めた頃、彼の名はすでに全国に知れ渡り、その動向には多大の関心が寄せられていた。もし西郷が本気で引退を望むなら、政界からきっぱりと身を引く決意を表明し、実際に人との交わりを断つ隠居暮らしを始める必要があっただろう。だが現実の西郷は、生涯を閉じる瞬間まで政治から離れることができなかったのだ。明確な志を持たない明治期の西郷は、忠義に請われるままに藩政に復帰し、勅命を帯びた岩倉の説得を受け入れて政府に出仕し、大久保に是非にと頼まれれば留守政府を引き受けるのだが、所詮それらは「斉彬の遺命」ほどの厳粛な影響力を彼に与えうるものではなく、政界に復帰した西郷は薩摩藩政や中央政界の実情を知るにつけ失望と幻滅を深め、逃避の衝動を抑えがたくなっていったと思われる。それは、あらゆる勢力の利害が複雑に絡み合い、もつれ合って解決不能となった問題を戦場での勝敗によって一刀両断の決着をつけることを本領とする武人西郷の宿命的な欠陥であった。彼はそのような問題を妥協と譲歩による政治的解決に持ち込む手腕の持主とは到底言いがたい人物だったのである。
西郷不在の政府は予算の配分を巡る大蔵省と各省の対立、悪天候に難破し台湾に漂着した琉球島民５４名が原住民に殺害された事件を巡る清国政府との外交紛争を抱えていたが、西郷はその双方にほとんど指導力を発揮することなく鹿児島に去っていった。それは政府の最高権力者ともあろう者が国家の大事を放擲（ほうてき）し、あたかも一薩摩藩士の身分に戻ったかのように旧主のご機嫌を取り結び、上京を懇願するためにのみ５か月もの時間を空費する職務放棄と非難されて当然の行為であった。西郷は、鹿児島に逃避したのかもしれない空白の５か月間に、彼を不忠の臣と罵倒する久光の根深い憎しみ、政府内部の底知れぬ汚職体質と、それに目をつぶり部下を救ってやらねば改革の事業が進まない矛盾等々に苦しみ、孤立を深める内に、再び死の想念に囚われていったのではないか、と私は想像してみるのである。
明治６年（１８７３年）１月、岩倉、木戸、大久保に続き西郷までも不在の政局を揺るがす内政外交両面の難問に困惑した太政大臣三条実美は、ついに渡欧中の木戸と大久保に帰国命令を発する。さらに三条は、西郷に使者を送って帰京を促すと共に、久光に対しては海軍大輔勝海舟を勅使として派遣し、東京内幸町の旧飫肥（おび）藩邸を彼に下賜する旨を伝えてようやく上京の同意を得る。結果的に久光に上京を同意させたのはこの政府の措置だったとすれば、西郷の長期帰省とはいったい何だったのか。疑念を禁じえない処である。
いずれにせよ明治６年（１８７３年）４月、まず西郷が帰京、次いで久光が、武士の正装に身を固め、髷を結い大小の刀を差した２５０人もの供を連れて東京にやってきた。東京市民は、小規模とはいえ文久２年（１８６２年）参勤交代が廃止されて以来１１年ぶりに再現された大名行列の偉容に目を見張った。久光の挙行した一大デモンストレーションは各地の守旧派士族の共感を呼び、彼の下には鹿児島のみならず熊本、佐賀など他藩の士族が参集し、開化政策に反対する数多くの建白書が届けられたという。これに勢いを得た久光は、年貢に代わる新税反対、礼式復旧、士族復権、政府の人事交代、特に西郷の罷免等を求めて三条を手こずらせる。ここからも西郷の久光説得は功を奏してはいなかったことがわかる。
これに対し政府は、前記の邸宅付与に加え、数度に渡る天皇の謁見と久光邸への臨幸、子息珍彦（うずひこ）の侍従就任等の懐柔策を連発して要求の方は聞き流し、麝香間祗候（じゃこうのま・しこう）という、名はもっともらしいが実体の定かでない役職に祭り上げることで彼の虚栄心を満足させ、政府攻撃の矛を収めさせることに成功した。このような手際は、やはり公家の得意業というべきもので、武人西郷の及ぶところではなかったのである。５月に至り、政府は司法卿江藤新平、文部卿大木喬任、左院議長後藤象二郎の参議就任を決定するが、これにも西郷が深く関与した形跡はない。それは留守中に人事異動を行わないとする使節団との約束違反だったが、その効力はほとんど消滅していたのである。続いて政府は大蔵省の権限縮小を図り、これに抗議した井上が辞表を提出する。ベルリンから急遽呼び戻された大久保が帰国したのは、このような情勢のさなかだった。彼は西郷率いる留守政府が使節団との約束をほとんど無視したに等しい政治状況に驚くと共に、西郷への不信の念を禁じえなかったであろう。