京都見廻組を一人で牛耳るかというほどの勢力を得た佐々木只三郎ですが、その立場を大きく揺るがす出来事が起こってしまいます。それは慶応三年（1867）三月二十四日のことでした。
この日、上七軒の鍵屋哥（うた）という茶屋に幕府歩兵隊の隊士二人が訪れ、屯営地である妙心寺（右京区花園）に遊女を呼びたいと申し出ました。しかし店の主人から「なじみ客でもないのにそんなことは出来ない」と断られてしまいます。歩兵隊の隊士二人は腹を立て店に居座ってしまいました。困った店の主人は、かねて懇意にしていた佐々木只三郎に助けを求めたのでした。
当時、佐々木は上七軒から程近い観音寺を宿舎としていました。この観音寺は通称を東向観音寺（ひがしむきかんのんじ）といい、北野天満宮二の鳥居の脇にあります。鳥居を出たら上七軒は目の前ですが、見廻組の組屋敷からはグーグルマップで徒歩約２０分ほどとなっています。
※.北野東向観音寺
助けを求められた佐々木は家来を連れてすぐさま駆けつけますが、生来の実直無骨な性格が、武士のくせに駄々をこねて居座り続ける歩兵隊士たちを許せなかったのか、「理不尽にも右歩兵を打ち擲（す）て候」（『藤岡屋日記』）、つまりいきなり殴り飛ばすか、もしくは投げ飛ばしてしまったのです。
驚いた歩兵隊士の一人が店の裏口から逃げ出して妙心寺に逃げ帰り、事の次第を報告。これを聞いた歩兵改役の吉田直八郎らが観音寺を訪れ、佐々木に直接抗議しましたが、話を聞いた歩兵隊士たちは激昂し、手に手に銃を取って駆けつけると、怒りに任せて観音寺に銃を撃ちかけました。打ち込まれた銃弾は数十発にのぼったといいます。
佐々木只三郎危うしの報に接した見廻組の隊士約二百人も北野天満宮に駆けつけ、歩兵隊と見廻組が大鳥居をはさんでにらみ合う事態になってしまいました。結局、たまたま近く（上七軒？）にいた会津藩士と薩摩藩士が間に入って事は収まったのですが、京の治安を守るために駐屯しているはずの幕府の両部隊が起こした騒動は問題視され、見廻役の蒔田相模守と堀石見守、それに歩兵隊頭取が進退伺いを提出する事態に発展してしまいます。
進退伺いは不問に付されましたが、結局二人は同年五月に退任し、代わりに小笠原河内守長遠（ながとお）と岩田織部正通徳（いわた おりべのしょう みちのり）が新たに見廻役に就任します。二人は最後の見廻役となるのでした。
※.北野天満宮大鳥居（一の鳥居）
この騒動に前後して、見廻組は元与頭・大沢源次郎が謀反の疑いで逮捕され、更に隊士を常駐させて監視していたはずの公卿・鷲尾隆聚（わしのお たかつむ）邸に倒幕派浪士が出入りし挙兵計画を練っていたことを新選組が突き止めたりと失態が続き、見廻組は公家屋敷の監視を含む御所警備の任務をすべて解任されてしまいます。これは浪士集団であった新選組が同年六月に幕臣取立ての栄誉にあずかったことと比べ、余りに屈辱的といえるでしょう。
見廻組の実質的なリーダーであった佐々木只三郎が、名誉挽回のための「大手柄」を欲していたことは想像するに難くありません。