文久三年（1863）二月二十三日に洛西壬生村に到着した浪士組ですが、清河八郎は佐々木只三郎ら同行役人たちをのぞく浪士一同を宿所の新徳寺に集め演説を打ちます。その内容は「我々の真の目的は尊王攘夷を断然実行することにあるので、幕府によって集められたとはいえ、今後は幕府ではなく朝廷の命令に従うべきである」といった内容だったとされます。
のちに学習院に提出された上申書（『清川八郎以下連署上申書』）にも
幕府御世話にて上京仕候得共、禄位等は更に相承不申。只々尊攘大義相期し奉候間、万一皇命を妨げ、私意を企候輩於有之は、たとひ有司之人たりとも、聊無用捨刺責仕度一統之決心に御座候。
幕府のお世話で上京したものの、幕府に俸禄や官位をもらっているわけでない。只々尊王攘夷の大義（の実行）を期したいのであって、万が一天皇の命を妨げ、私的な意見（攘夷以外の考え）を企てる者があった場合には、それがたとえ有司（役人のこと）であっても、容赦なく「刺責」するとの一同の決心です、と書かれています。
この「刺責」の意味を「物理的に刺す」、つまり殺害を示唆したものとする解釈が一般的になっています。その解釈を否定まではしないのですが、そもそも（あわよくば）天皇陛下のお耳に達したいと思って提出したであろう上申書に、そんな暴力的な文言を入れるだろうかという疑問はあります。
「指責」は中国語で組織・役人の不正・失策などを非難・糾弾するという意味があり、その意味で使った「当て字」という可能性もあるのではないでしょうか。だがしかし、当の役人たちがこの「刺責」を見たら、殺害を示唆しているのだと読み取ったことは想像に難くありません。
更に清河は「外国御拒絶の期なり候上は、関東において何時戦争相始まり候も計り難く」、つまり「外国との交渉を拒絶し再び鎖国を実行すれば、関東においていつ戦争が始まってもおかしくない」ので浪士組をすみやかに関東に下向させよとの命令を出してほしいとする上申書を学習院に提出、これが受理され、三月三日、浪士組に江戸帰還が命じられます。
近藤勇・芹沢鴨ら帰還に反対する一部の浪士を残し、浪士組は京を発つのですが、佐々木只三郎もこれに従い江戸に向かうことになります。この帰路に鵜殿休翁に代わり浪士取扱役となった高橋伊勢守（泥舟）はのちに語っています。
正明（※.清河八郎）性、急にして、動もすれば人を凌辱す。なかんずく浪士取扱佐々木只三郎、窪田治郎右衛門など、その身、正明の上に位すといえども、正明に及ばざること遠し。これを以って時々凌辱を加えられて憤懣に堪えず。この如き輩一、二にして足らず。余、よくこれを知る。（『泥舟遺稿』）
佐々木只三郎や窪田治郎右衛門は身分は清河八郎よりも上であったのに、清河にたびたび馬鹿にされ恥をかかされていたので憤懣やる方なかった。そういう人物は一人や二人ではない、というのです。
※.清河八郎が浪士を集め演説をした新徳寺本堂広間
