《恰（あたか）も國家の功臣を以て傲然（ごうぜん）自から居（お）るがごとき、必ずしも窮屈（きゅうくつ）なる三河武士（みかわぶし）の筆法を以て彈劾（だんがい）するを須（ま）たず、世界立國の常情に訴えて愧（はず）るなきを得ず。啻（ただ）に氏の私の爲めに惜（お）しむのみならず、士人社會風敎（ふうきょう）の爲めに深く悲しむべきところのものなり》（「痩我慢の説」：『福澤諭吉全集第6巻』（岩波書店）、p. 566）
（あたかも国家への功労者として傲（おご）り高ぶり自らを任ずるようなことは、必ずしも堅苦しい三河武士のやり方によって批判するまでもないことで、世界立国の普通の感情に照らしてみても恥ずかしく思わないはずがない。ただ海舟が私にとって残念なだけではなく、士人・社会・風教にとっても深く悲しむべきことだ）
諭吉の批判に対し、海舟は次のように返答した。
《従古（いにしえより）当路者（とうろしゃ）古今一世之人物にあらざれば、衆賢（しゅげん）之批評に当る者あらず。不計（はからず）も拙老（せつろう）先年之行為に於て御議論数百言御指摘、実に慚愧（ざんき）に不堪（たえ）ず、御深志忝（かたじけなく）存（ぞんじ）候（そうろう）。
行藏（こうぞう）は我に存す、毀譽（きよ）は他人の主張、我に與（あず）からず我に關（かん）せずと存候。各人へ御示（おしめし）御座候（ござそうろう）とも毛頭（もうとう）異存（いぞん）無之（これなく）候》（同、pp. 571-572）
（昔から、重要な地位にある人物、昔も今も当代の人物でなければ、多くの賢者から批判の対象とはなりません。図（はか）らずも、私のかつての行為に関して議論し、数多く指摘してくださり、実（まこと）にお恥ずかしい限りです。深い御志、忝（かたじけな）く思っております。
出処進退は私にありますが、誹（そし）り誉（ほ）めるのは他人の主張ですから、私が与（あずか）り知るところではございません。他の方々に公表なされても、全く異存はございません）
このように、海舟は、諭吉の批判を面と向かって受けることなく躱（かわ）した。
そして今「行蔵は我に存す」という言葉が歴史から引っ張り出された。
《「行蔵は我に存す」。岸田文雄首相は１７日の施政方針演説で、幕末に江戸無血開城で庶民を救った勝海舟の言葉を引用した。自分の行動は自分が責任を負うという思いがある。首相は就任以来、新型コロナウイルス対応などで迅速な決断や方針転換に踏み切ってきたが、改めて「責任は全て負う覚悟」を強調した》（産経ニュース「首相、責任負う「覚悟」強調 施政方針に勝海舟引用」2022/1/17）
が、海舟が言ったのは、「他人があれこれ言うことは、私の関知することではない。出処進退は自分で決める」ということである。自分が責任を負うなどとは言っていない。