列車砲は、陸上では運用が困難な大口径・大重量の火砲（重砲）を列車に搭載し、鉄道レール（線路）上を走行させることによって移動を可能とした兵器である。
貨物列車に装甲を施し、比較的小口径の軽砲・対空砲・機関銃を搭載した装甲列車とは一般的に区別される。
砲架を無蓋貨車に搭載するか、無蓋貨車そのものを砲架として砲を搭載したもので、砲の口径と口径長はまちまちであるが、搭載される砲はカノン砲（カノン・加農）の中でも特に大口径（20cm以上）・長砲身・大重量・高初速・大威力なものが使用されることが多い。
また、大口径・大重量の榴弾砲や臼砲も使用された。
基本的に超長距離射撃を前提とし、大口径砲から発射される砲弾（破甲榴弾・榴弾）の破壊力は多大なものであり、砲によっては最大射程は40,000m(40km)以上を誇った。
列車砲自体には自走能力はなく、機関車によって牽引されて移動し、搭載砲が大型のものは砲架は固定式で左右への旋回はできないか、可能であっても360度の全周旋回はできないことが基本である。
左右の射界の確保はカーブの付いたレール上を移動させるか、転車台を用いて対応した。
鉄道車両であるため、線路のない場所を移動することはできないが、鉄道網の発達した近代の欧米においては、まだ整備された道路網が未発達であった自動車に比べて迅速な移動が可能であり、鉄道路線のない場所であっても、工兵隊によって軌道を敷設することにより移動や展開が可能であった。
戦間期に出現した中・大型の爆撃機は、すでに列車砲の砲弾以上の威力のある爆弾を投下することが可能となっており、また列車砲の最大射程と爆撃機の航続距離（戦闘行動半径）は比較にならず、列車砲の存在価値は大きく減じられるものとなった。
ただし、空対地ミサイルを始めとする長距離誘導兵器が未発達のこの時代では、航空機は目標の上空に到達しなければ攻撃できないために、防空網による阻止を突破しなければならず、この時代の航空機はまだ高い全天候行動能力がないため、運用できる状況に制限があり、高精度の爆撃照準装置が発達していないために命中精度に難がある、といった限界もあり、その遠距離攻撃能力を常に十分な状態で発揮できるわけではなく、列車砲に対して絶対的な優位を確保できていたわけではなかった。
このため、適切な状況で運用した場合には、列車砲もなお圧倒的な威力を発揮した。列車砲にも「相手が同様の射程を持つ火砲を装備している場合には撃ち返される」という脆弱性はあったが、対砲兵レーダーがまだ未発達なこの時代には、現実的には射撃されている側が「攻撃中の敵火砲の位置を正確に逆算して即座に撃ち返す」という即時対砲兵射撃を常に行うことは難しく、また列車砲の側も数発撃つごとに移動する、地形が許せば隧道（トンネル）を利用しての射撃を行う（射撃時だけ隧道から出て、所定の発数を射撃したらすぐに隧道内に戻る）ことで敵の攻撃を避ける、といった対策方法もとっていた。
しかし、列車砲は編成を含めてその大きさは格好の目標であり、移動においては線路に制限されるという関係上、制空権を確保していない状況においてはその運用は困難であった。
砲自体の運用に多数の人員が必要であった上、移動のために牽引する機関車とその運用要員、軌道を整備・修繕し必要に応じて敷設するための工兵隊、更には航空機が発達するとそれから守るための防空部隊（高射砲部隊）といった付属要員・部隊が多数必要であり、継続的な運用のための後方整備にも多大なリソースが必要だった。
長大で大口径な備砲は砲身の交換一つとっても多大な資源と設備、人員が必要であったからである。
また、沿岸防衛や国境線防衛のための兵器としてではなく、進軍する友軍部隊を支援するものとした場合、移動そのものは鉄道網を利用して高速に行えるとしても、前述したような付属部隊を総合すると膨大な数の資材と人員を移動させねばならないため、投入を決定してから実際に現地に移動し、到着の後展開を完了して射撃準備が完了するまでには相応の時間を要した。
特に特別な複線が前提となっていた一部の巨大な列車砲は運用そのものに多大な制限を受けており、第二次大戦直後にドイツ国防軍の列車砲を調査した連合軍の評価は「技術的には驚異的だが、戦術的には失敗策だ」というもので「列車砲に注がれた資金、資材、技術者、兵員を爆撃機の開発に回していれば大きな脅威になったが、列車砲に回されたおかげで連合軍には有利に働いた」と評されている。
第二次大戦後の現代においては、自動車道路網の発達や戦闘ドクトリンの変化、兵器技術の進化、特にロケット技術の急速な発達により、「長大な射程を持ち、破壊力の大きな大口径大重量の砲弾を発射できる」という巨砲兵器の存在意義そのものが、弾道ミサイルや地上発射型巡航ミサイルおよび地対艦ミサイルの前に失われてしまい、列車砲という兵器カテゴリーそのものが、大型の多輪式自走ミサイル発射機（輸送起立発射機：TEL（transporter erector launcher）にとって代わられているが、ソビエト連邦軍 / ロシア連邦軍の大陸間弾道弾には列車移動が可能なタイプが存在したことがあり、見方によってはこれは列車砲の子孫とも言える。
列車砲の概念は、1853年にイギリスのアンダーセンが著した"National Defence"（国防）というパンフレットに現れたのが最初である。
ロシア帝国でも1860年代には、同様の主張が表れている。
列車砲の初めての実用化・実戦投入は南北戦争中（1861年-1865年）のことであり、1864年のピーターズバーグ要塞をめぐる戦いにおいて、北軍が13インチ臼砲を無蓋列車にのせて運用した13インチ列車臼砲が、初の列車砲とされる。
第一次世界大戦
以降、列車砲は世界各国の陸軍において研究・開発・整備が行われ、列強各国はこぞってこれを所有した。
第一次大戦においてはドイツが要塞や塹壕攻撃などに使用したものが有名である。
ドイツ軍は中でもパリ砲と呼ばれる最大有効射程130,000m(130km)の列車砲（口径21cm）を開発し、120km離れた地点からパリに超遠距離砲撃を行った。
これに脅威を感じた連合国はヴェルサイユ条約でドイツに対し列車砲を含む重火器の保有を禁止したが、未知の技術であったロケットの保有は禁じられなかった。
このためドイツはミサイルの研究に取り組み、世界に先駆けてV2ロケットなどの弾道ミサイルの実用化に成功した。
戦間期
引き続き戦間期には世界各国において列車砲の開発はピークとなった。
日本においても帝国陸軍が1920年代に導入を模索し採用した九〇式二十四糎列車加農がある。
砲身はフランスのシュナイダーから購入・輸入し、車台や電源車は国産であった。
本砲は各種テストが行われ千葉県富津岬の富津射場に保管されていたが、大東亜戦争開戦時に改軌の上、日本軍最大の火砲である試製四十一糎榴弾砲とともに満州国に送られソ満国境の関東軍虎頭要塞に配備された。
しかし、ソ連軍侵攻時には解体されて後方に移送中であり、一説によるとソ連軍に追いつかれて鹵獲されたという。
また、実現はしなかったが純国産の列車砲を開発する計画も存在していた。
第二次世界大戦
第二次大戦においても列車砲は使用され、中でもドイツ国防軍・イギリス軍・ソ連労農赤軍が使用していた。
ドイツはクルップK5（口径28cm、最大射程61km）を主力に、15cm口径のものからビスマルク級戦艦用の主砲と同様のものを用いた38cm ジークフリート K(E)列車砲まで、また実用化された火砲としては世界最大である80cm列車砲（「グスタフ」および「ドーラ」の愛称で知られる）を投入している。
なお、フランス陸軍の列車砲はフランス降伏において多くがドイツに鹵獲され、レニングラード攻撃やノルマンディー戦で使われた。
イギリス陸軍の列車砲は沿岸防衛用にドーバー海峡沿岸に配備され、時に沖合いを行くドイツ艦船を砲撃し、時に対岸を砲撃し、時に対岸に配備されたドイツ軍列車砲の砲撃を受けたが、大きな活躍は見せていない。
第二次世界大戦後
第二次世界大戦中にドイツが実用化した弾道ミサイルにより、戦後の長距離火砲の世界には大きな変化が生じ、これにより列車砲は急速に廃れていった。
核弾頭の小型化がまだ不十分であった時期には、核兵器の戦術的投射手段として長射程の大口径砲の存在意義はある、とされたが、列車砲は「線路のあるところでしか移動・運用できない」という点において絶対的に不利であるとされ、いくつか開発されて生産されたいわゆる「原子砲」においても、列車砲は運用手段としては選択されていない。
なお、1980年代にソビエト連邦によって開発され、2005年まで運用された大陸間弾道弾、RT-23（NATOコードネーム：SS24）には列車移動が可能なタイプがあり、これを戦略兵器としての列車砲の後継と捉えることもできる。