天保１０年、常陸志筑藩士（郷目付）、鈴木専右衛門忠明の長男として生まれる。忠明が家老との諍いによって隠居した後、伊東が家督を相続したものの、後に忠明の借財が明らかになったことから家名断絶となり、一家は領外へ追放される。伊東は水戸へ遊学し、水戸藩士、金子健四郎に剣術（新道無念流）を学び、また、水戸学を学んで勤皇思想に傾倒する。
江戸深川佐賀町の北辰一刀流剣術伊東道場に入門するが、道場主の伊東精一に力量を認められて婿養子となり、伊東大蔵と称した。
元治元年１０月、同門の藤堂平助の仲介で新選組に加盟。同年１１月、弟の鈴木三樹三郎、盟友の篠原泰之進や加納鷲雄、服部武雄、門人の内海二郎や中西昇らと上洛。この時、上洛の年（甲子）に因んで伊東甲子太郎と称する。参謀兼文学師に任じられる。
容姿端麗で巧みな弁舌から、伊東に対する人望は高かったと伝わる。
号、誠斎。
※画像はお借りしています。
【伊東甲子太郎道場跡】(江東区佐賀)
