東京の元赤坂にある現在の迎賓館の建物は、東宮御所として1909年（明治42年）に建設された。鹿鳴館などを設計したお雇い外国人建築家ジョサイア・コンドルの弟子にあたる宮廷建築家片山東熊の設計により、元紀州藩の屋敷跡（明治6年宮城火災から明治21年の明治宮殿完成までの15年間、明治天皇の仮御所が置かれていた。）に建てられた。しかしそのネオ・バロック様式の外観があまりにも華美に過ぎたことや、住居としての使い勝手が必ずしも良くなかったことから、皇太子嘉仁親王（後の大正天皇）がこの御所を使用することはほとんどなかった。嘉仁親王が天皇に即位した後は離宮として扱われることとなり、その名称も赤坂離宮と改められた。
1924年（大正13年）、大正天皇の皇子・皇太子裕仁親王（後の昭和天皇）と良子女王（後の香淳皇后）との婚儀が成ると、その後の数年間、赤坂離宮は裕仁親王一家の住居たる東宮御所として使用された。裕仁親王が天皇に即位した後は離宮として使用されることも稀になった。太平洋戦争終戦時には高松宮宣仁親王が昭和天皇に、皇居を出て赤坂離宮へ移り住むことを提案したが、天皇は使い勝手が悪く経費がかさむとして拒否している。
戦後、赤坂離宮の敷地や建物は皇室から国に移管され、国立国会図書館（1948–61年）、法務庁法制意見長官（1948–60年）、裁判官弾劾裁判所（1948–70年）、内閣憲法調査会（1956-60年）、東京オリンピック組織委員会（1961–65年）などに使用された。
その後国際関係が緊密化して外国の賓客を迎えることが多くなり、またそれまで迎賓館として使用していた東京都港区芝白金台の旧朝香宮邸（現・東京都庭園美術館）は手狭で随行員が同宿できないといった支障があったため、1962年（昭和37年）に当時の池田勇人首相の発意によって新たに迎賓施設を整備する方針が閣議決定された。
これを受けて、池田及び池田の後継として1964年（昭和39年）に首相に就任した佐藤栄作の2代の政権下で政府部内で検討を重ねた結果、『旧赤坂離宮を改修し、これを外国賓客に対する迎賓施設に供する』ことが、1967年（昭和42年）に決定された。こうして5年の歳月と108億円（工費101億円、内装費7億円）をかけて、本館は村野藤吾、和風別館は谷口吉郎の設計協力により、田中角栄政権当時の1974年（昭和49年）3月に現在の迎賓館が完成した。新装なった迎賓館に迎えた最初の国賓は、1974年11月に現職のアメリカ合衆国大統領として初来日したジェラルド・フォードだった。
過去に2006年（平成18年）から2008年（平成20年）にかけて、大規模な改修工事が行われたことがある[5]。
2009年（平成21年）12月8日、旧東宮御所（迎賓館赤坂離宮）として国宝に指定。明治以降の文化財としては初の国宝となった。
2016年（平成28年）4月から一般公開、12月にはライトアップが行われた。来館者は2016年度で約76万5000人、2017年度で約58万3000人[6]。
