1888年（明治21年）、大日本帝国陸軍が鎮台から師団に組織変更をした際、騎兵の兵力は1コ師団あたり1コ騎兵大隊というものであり、この時点では騎兵連隊は存在しなかった。
日清戦争後、日露戦争に向けて、徐々に騎兵の兵力拡充が図られ、師団における騎兵の編制は5コ中隊（1中隊=159名）からなる1コ騎兵連隊が標準とされた。
日本陸軍では、歩兵連隊と並んで軍旗（連隊旗）を持つ連隊であった。
また、新たに騎兵を集中的に運用するため、近衛師団と第1師団に、3コの騎兵連隊からなる騎兵旅団も創設された。
日露戦争終結時までに、21個の騎兵連隊（近衛騎兵連隊･騎兵第1～20連隊）が設置され投入された。
日露戦争後も、第3師団と第8師団にも騎兵連隊を増設して騎兵旅団を編成するなど騎兵戦力の充実を図った。
その後、大正期の財政難を乗り越えながら、21コの師団（近衛･第1～20師団）に29コの騎兵連隊（近衛騎兵連隊･騎兵第1～28連隊）を設置した。
しかし、第一次世界大戦を契機に日本でも騎兵戦力の見直しが議論され、1922～1923年（大正11～12年）の山梨軍縮では連隊の編制が縮小されて、騎兵旅団隷下の戦略騎兵では5コ中隊から4コ中隊、師団騎兵では2コ中隊となった。
また1925年（大正14年）の4コ師団を削減した宇垣軍縮では、これに伴い騎兵連隊の数も4コ連隊削減された。
昭和期に入ると騎兵連隊に機関銃中隊を附属させるなど火力の充実を図る一方、機甲化が図られ騎兵連隊の多くは捜索連隊へと改組された（近衛騎兵連隊は儀仗隊としての側面を持っていたこともあり、また騎兵第3･第6･第25･第26連隊なども編制の改編を経て終戦時まで存続している）。
1940年（昭和15年）に設置された騎兵第71連隊及び騎兵第72連隊なども、騎兵連隊の名称は持つが内容は自動車化騎兵の連隊である。
騎兵第49連隊のような乗馬編成の騎兵連隊の新設もあったが、一部の師団では編制はほぼ同じながらも軍旗を持たない騎兵大隊や騎兵隊としての編制をとっていた。
また捜索連隊への改編時に軍旗は返納されたが、騎兵連隊と称している連隊は編制に関わらず終戦時まで軍旗を有している。
なお、現在のところ世界最後の本格的な騎兵戦闘･騎馬突撃は、1945年（昭和20年）に行われた大東亜戦争下中国戦線の老河口作戦における、騎兵第4旅団の戦闘であるといわれる。
同旅団は日本最後の騎兵旅団である。
3月27日に老河口飛行場の乗馬襲撃･占領に成功し、世界戦史における騎兵の活躍の最後を飾った。
帝国陸軍における騎兵連隊（騎兵）の軍隊符号（部隊符号）はK、捜索連隊（捜索隊）はSO。
隊号（連隊番号）などは符号に冠し26K（騎兵第26連隊）などと表記し、また近衛騎兵連隊は近衛のGと合わせGK、騎兵旅団は旅団のBと合わせKBとした。
騎兵の歌
| 作詞：柳川 清成（陸士第四十九期騎兵生徒） 作曲：陸軍戸山学校軍楽隊
|
| 一、 来（きた）れ我友（わがとも）血に燃ゆる 胸の響（ひびき）に言伝（ことづ）てん 緑に映ゆる襟の色 ああ憧（あこが）れのグルメット 二、
三、
四、
五、
六、
七、
八、
九、
十、
|
