文久三年（1863）三月三日、関白鷹司政通より浪士組取扱鵜殿鳩翁に対して達文がありました。
このたび横浜港へ英国軍艦渡来、昨戌年島津三郎儀、江戸表出立の節、生麦において英国人両人打ち果たし候儀に付、三カ条の儀申し立て、何れも聞き届け難き筋に付、その旨応接に及び候間、速やかに戦争に相成るべきことに候。
よってその方引き連れ候浪士共、早々帰府いたし、江戸表において差図を受け尽忠粉骨相勤め候様致さるべく候。
生麦事件に対してイギリスが突きつけた三カ条（一、賠償金の支払い。 二、島津久光を打ち首にする。 三、薩摩への軍艦派遣）は到底飲めるものではないから、直に戦争になるだろう。だから浪士組は早々に江戸に帰り、幕府の指示を仰いで命のかぎり尽くせというものでした。
三月八日にはこれを追認するかたちで幕府から浪士組へ帰還命令が下り、浪士組の江戸帰還が正式に決定します。その一方で鵜殿鳩翁は京都への残留希望者を取りまとめるよう、殿内義雄・家里次郎のふたりに命じました。
その結果、京都に残ることになったのは
芹沢鴨 水戸浪人 道中取締並出役手附
粕谷新五郎 水戸浪士 道中取締並出役手附
新見錦 水戸浪人
平山五郎 姫路浪人
野口健司 水戸浪人
平間重助 水戸浪人
近藤勇 府内（江戸）浪人 六番組小頭
井上源三郎 武州八王子千人同心松五郎弟
山南敬助 仙台浪人
沖田総司 白河浪人
永倉新八 松前浪人
原田左之助 伊予松山浪人
土方歳三 武州多摩郡石田村
藤堂平助 府内浪人
根岸友山 一番組小頭 武州大里郡甲山村
清水吾一 武州埼玉郡羽生村
遠藤丈庵 武州比企郡大塚村
神代仁之助 水戸浪人
鈴木長蔵 仙台浪人
阿比留栄三郎 対州浪人
の２０人となりましたが、直後に加わった
斎藤一 府内浪人
佐伯又三郎 長州浪人
のふたりと、取りまとめ役の殿内義雄・家里次郎を加えた２４人が京都残留浪士組となるのですが、永倉新八は残留の理由を『浪士文久報国記事』の中で
清川八郎東下いたし寮る（ママ）ところ、横浜鎖港いたすの所存と。私共愚案には皇命下りしより駆けつけ参りしとも、攘夷の魁に相成るべし。よって私共身体如何様に相成るとも、京師に止りたき趣き申し上げる。
つまり、「清河八郎は横浜港を封鎖してしまおうという考えだったが、我々の考えでは天皇の勅命が下されたあとに（関東に）駆けつけても攘夷の魁となることが出来る。だからどのような処分を下されようとも京都に留まりたいと申し出た」としています。
かくして三月十日に幕府は会津藩に対し、京都残留の浪士をその支配下に入れるよう命じ、やがて彼らは壬生浪士組と呼ばれ、のちに新選組へと発展していくのです。一方、三月十三日朝、新徳寺に集合した浪士組は、江戸へと帰って行ったのでした。
