寺山の競馬との出会いは1956年。ネフローゼで入院中、同室の韓国人から賭博とともにそれを学んだ。1962年、山野浩一と親しくなったころから足繁く競馬場に通うようになり、1963年、牝馬・ミオソチスに心酔して競馬エッセイを書き始め、競馬を人生やドラマになぞらえて語るなどの独特の語り口で人気を博した。
1964年には、中山大障害を題材にしたTBSテレビのドキュメンタリー番組『サラブレッド・我が愛』の台本・構成を手掛けている。
1968年、船橋競馬のある騎手から「寺山さんのエッセイは中央競馬寄り」という批判を受けたことをきっかけに、船橋競馬のある騎手と新宿で会談、自身の不明を恥じた寺山は「ユリシーズ」（南関東）の馬主となる。
1970年からは報知新聞競馬面に「寿司屋の政」、「バーテンの万田」など多彩な人物を登場させて競馬を予想した『みどころ』『風の吹くまゝ』というコラムを連載し、1983年4月に死の直前まで続いた。このコラムは後に『競馬場で逢おう』シリーズとして纏められる。
競馬界のスポークスマン的存在で、1973年には日本中央競馬会（JRA）のコマーシャルに出演。『カモメは飛びながら歌を覚え、人生は遊びながら年老いていく』という自作の詩を朗読。1974年にハイセイコーが引退すると、引退記念レコード『さらばハイセイコー』の構成、詩の朗読を行なった。
1978年6月には、NHKが製作した『ルポルタージュにっぽん』「ダービーの日」という番組に進行役として出演。
1978年5月28日に開催された日本ダービーでの「東京競馬場の長い一日」をレースに騎乗する福永洋一・岡部幸雄・柴田政人の同期3名の騎手を中心に調教師、観客らの姿にスポットを当てて描くというドキュメンタリーの形で綴った。
報知新聞競馬面予想コラム『風の吹くまゝ』の最終回は1983年皐月賞の当日で、寺山は『勝つのはミスターシービー』と記し、吉永とミスターシービーの勝利を確信していた。