鳥羽伏見に敗れた徳川慶喜は、江戸に戻って恭順を表し、江戸城を明け渡した。これに同意できない幕臣らは、彰義隊を結成して官軍との対決姿勢を明確にした。
しかし彰義隊の内部でも、江戸市内での交戦を主張する天野八郎らと、江戸郊外で戦おうという渋沢成一郎、渋沢栄一の従兄弟らの二派に分裂していた。
結局、渋沢らは袂を別って田無村に移り、そこで振武軍を結成した。振武軍は上野の彰義隊の動向を伺っていたが、五月十五日に彰義隊が壊滅したことを知ると、一ツ橋領の多い飯能に退いた。村役人や寺院との押し問答の末、能仁寺を本陣とすることとなった。
能仁寺は、天覧山を背にして、市街を見下ろす位置にあり、本陣とするには最適の場所であった。
上野における彰義隊との戦闘に勝利した官軍は、すぐさま兵を飯能に向け、五月二十三日に総攻撃を開始した。夜明けとともに、官軍の放った大砲が振武軍の立てこもる寺院を砲撃した。振武軍は奮戦虚しく惨敗した。
飯能では、能仁寺を初めとして、観音寺、広渡寺、王宝寺、智観寺、心応寺の六ヶ寺に振武軍が分宿したため、いずれも官軍の攻撃の標的となって、焼け落ちてしまった。また周辺の村々も軍用金や兵馬を調達され、更には焼失した民家も二百戸を数えたという。
能仁寺境内には、飯能戦争を記念する「唱義死節（義を唱え節に死す）」碑が建てられている。
小銃：エンフィールド銃（前装式施条銃）３００挺、猟銃 数挺
上は復刻銃身 下が本物
