秀家は秀吉の恩に報いようと、関ヶ原の合戦で西軍に与して奮戦。一時は東軍方の猛将・福島正則の部隊を苦しめます。しかし、ご承知のとおり、小早川秀秋の裏切りによって西軍は壊走。秀家は薩摩まで逃れるものの、捕えられてしまいます。
その後、死一等を減じられ、八丈島へ流されますが、さすがはプリンス。流人といっても子や従者ら大勢を引き連れてのもの。
生活は決して楽ではありませんでしたが、妻（豪姫）の実家・前田家からの援助もあり、８４歳でこの世を去ります。
家康の嫡孫（３代将軍・家光）はその４年前の慶安４年（１６５１）に逝去していますから、関ヶ原に参戦した武将の生き残り記録としては最長といってもいいでしょう。
一方、流人時代の逸話には事欠きません。
あるとき、配流先の八丈島へ備前児嶋の商船が漂流し、商人と故郷岡山の話になったときのことです。秀家は城下に武家屋敷が居並ぶ様を聞き、「乱世の時代には国境に家臣を分かち置くべきもの。城下に家臣の屋敷が多いのはそれだけ世が治まった証拠」と述懐したといいます（『常山紀談』）。
また、『武林名誉録』に掲載される流人時代の有名な逸話が、嵐で八丈島に難を避けた仇敵・福島正則の家臣に酒を恵んでもらった話です。やがて正則の家臣は、相手が秀家だと知りますが、酒好きな秀家に樽ごと酒を献上します。もちろん、主君の手討は覚悟の上での話です。
ところが正則はその話を聞き、「あっぱれ」といい、家臣を褒めたといいます。昨日の敵は今日の友。ちょっといい戦国時代の逸話として語り継がれています。
そして、秀家の末裔は江戸期を通じ、八丈島で繁栄するのです。