総理公邸には，かねてから「幽霊が出る」との都市伝説がある。現在の公邸は鉄筋４階建てで，フロア数などは極秘扱いの地下も存在している。2002年に歴史的建造物であった旧公邸を少しずらして，現公邸に改修・建設したものである。
昭和7年の5･15事件では犬養毅総理と警備の警察官１人が海軍士官らにより，昭和11年の2･26事件では岡田啓介総理の秘書官と警察官数人が陸軍士官らにより，公邸を襲撃され犠牲となった。襲われた際，犬養総理の発した「話せばわかる」は今も語り継がれており，公邸が「殺害現場」となったことから幽霊伝説が生まれたといわれている。
永田町関係者は，「私が覚えている限りだが，公邸に住まなかった首相は，宮澤喜一氏，第2次政権の安倍晋三氏，菅義偉氏で，それぞれ当時の個人的事情で住まなかっただけで，けして『幽霊が出る』という理由からではなかった。旧公邸に住んだことがある元総理経験者からは，宴席の場ではあるが，『軍人が行進するような足音や突然ドアが開くような不自然な物音を聞いたことがある』『夏なのに急に冷気を感じた』などの背筋が寒くなるような話を聞いたこともあるが，『幽霊を見た』というような直接的な怪奇現象は聞いていない。今の公邸になってからは，幽霊伝説を聞くこともなく，元総理の息子が親族らを招いて忘年会を開いた事案で公邸が注目されたこともあったが，5･15事件や2･26事件だけでなく，この世に未練のある様々な政治家らの積年の思いが公邸の中には潜んでいても不思議ではないだろう。警護官（ＳＰ）の中には実際，仮眠して起きたら違う場所に移動していたなどの不思議な体験をした人もいると聞いている」と公邸で囁かれている幽霊伝説に言及する。
石破茂総理は，公邸と議員宿舎を併用して住む意向であり，既に公邸の点検，修繕作業が終了して，引っ越しを始めている。幽霊伝説に関して，石破総理は「オバケのQ太郎世代なので大して恐れない。実際見たら怖いかもしれないが，それを気にすることはない」と幽霊伝説を意に介さないようだ。魑魅魍魎が跋扈すると言われる永田町にあっては，石破総理にとっては幽霊ではなく，「人が怖い」のかもしれない。