第二次ロンドン軍縮交渉のため、東京駅を出発する山本（右）
航空本部在任後、1934（昭和9）年9月、山本はロンドン軍縮会議の予備交渉の代表となり、ロンドンに到着して間もなく中将となりました。
翌年昭和10年の本会議は、主力艦の比率を英5・米5・日3の割合に決めたワシントン条約の期限が昭和10年に、補助艦や潜水艦の比率を定めたロンドン条約の期限が昭和11年に切れるため、その後をどうするかの交渉でした。
日本の立場は明確で、米英に対して日本の比率が低く制限されている条約は続けないということ。新しい軍縮条約を結ぶにしても、日・米・英の兵力量をできるだけ低く抑えて、各国は実情に応じてその線を超えない範囲で自由に持てるようにすること。
ただし、できるだけ攻撃兵器を廃棄し、防御兵器を中心として軍備するというものでした。
日本政府はその具体的な案として、空母や主力艦の全廃を提案してもよいと言いきっていました。しかしこの提案は、いかにも唐突で、わざと米英が受け入れられないような提案を行って、無条約状態を醸し出していくという雰囲気すら感じられました。
予備交渉の雰囲気は米国が冷淡で、日本が条約を破棄しても困らないという立場に終始し、英国はワシントン・ロンドン軍縮条約の継続を希望していました。
無条約状態になると、米国の軍事力が強大になり過ぎるのでそれを抑えようと言う魂胆で、日本を味方にして米国を牽制しようとしていました。
山本は本心からこの政府提案に賛成していたわけではなく、無条約状態にも反対でした。アメリカの強大な工業力を直に見た彼としては、無条約状態下での米英との無制限の建艦競争になるのを恐れていたためです。しかし日本代表としての山本の主張できる範囲は限られていました。
艦隊派（軍拡派）は山本の親友である堀悌吉（ていきち）中将を予備役に追いこんで、条約肯定派の中心的存在であった山本に無言の圧力をかけてきました。
堀悌吉（ていきち）
この交渉で山本は無駄と知りつつ、特に英国側と熱心に議論を重ねました。交渉そのものは不調に終わってしまいましたが、そのおかげで交渉当事者との太い信頼関係を結んで帰国しました。
後に交渉者の一人、ロバート・クレーギー外務省参事官は、昭和12年に駐日大使として日本に赴任しましたが、外務大臣より先に山本を表敬訪問するほどの親しさを見せました。そのことが、山本は親米英派の印象を軍部に与えたと言われています。
しかし新条約を望むかのような熱心すぎる交渉が疎まれ、海軍首脳部はロンドンから帰国した山本に冷淡に接しました。事実、帰国後の山本は9カ月間、ポストらしいポストが与えられない不遇の時代を過ごしました。
山本はその間、郷里の長岡に帰ったり、海軍をやめようと親友の堀に相談して慰留されたりの日々でした。
釣りをして無聊を囲う山本。中将クラスになると、釣りをするにも背広を着ないといけないのでしょうか。