しかし、1938年5月に情熱のある嘉納治五郎が死去(肺炎)した後、同年7月に日本政府は五輪開催権を返上した。競技場やプールの計画が消えていた。軍事色が濃くなった。それまで庶民たちは、五輪だ！万博だ！と呼んでいたのに。
予定だった競技場は現在の駒沢オリンピック公園敷地にある。
プールと競技場。東京府荏原郡駒沢町(現・東京都世田谷区)の駒沢ゴルフ場の跡地(駒沢オリンピック公園敷地)
1940年札幌五輪のスケート競技場大倉山。札幌五輪ポスターも完成した。1941年以降は、全てのスポーツ(野球、陸上、蹴球、庭球、ラグビー、ホッケー、水泳など)が中止された。棒高飛び銅メダリストの大江季雄は早くも戦死した。水泳の内田正練も水泳の河石達吾も馬術金メダリストの西竹一もサッカーの右近徳太郎と松永行もホッケーの脇坂貞夫も戦死。
他に戦病死、捕虜され病死、国内の空襲などで亡くなった人も広島被爆した人もいる。