パンナムビルは、パンアメリカン航空（パンナム）の本社ビルとして1963年3月7日にオープンした。その当時としては、世界一高い商業オフィスビルであった。マンハッタンのスカイラインの重要な一角であり、アメリカ50大ビルの一つである。設計はバウハウスの校長であり、モダニズム建築の巨匠とされるヴァルター・グロピウスとピエトロ・ベルスキらの共同設計である。
パンナムが長年にわたってこのビルを所有しており、ビルの南北の面に「PAN AM」のロゴタイプが、東西の面にはパンナムの商標である地球儀のロゴマークが描かれており、このビルは世界の航空業界をリードしていたパンナムの繁栄の象徴だった。
1970年代後半に航空規制緩和法の影響を受けてパンナムの経営は急速に悪化し始め、パンナムはビルを売却せざるを得なくなり、1981年に生命保険会社のメットライフへビルを売却。
1991年にパンナムが事業を停止した時、メットライフは南北にあったパンナムのロゴを自社のロゴに置き換え、ビル名も「メットライフビル」に改名した。
このビルはパンナムビル時代、ジョン・F・ケネディ国際空港へのヘリコプターサービスでも知られ、屋上のヘリ発着場から7分で空港まで行くことができた。このサービスは1965年12月21日から1968年2月18日と、1977年の数か月の間のみ行われた。
しかし死者5人を出した事故が発生し、このサービスは終了した。1977年5月16日に故障した降着装置が原因で、まだローターの回転していたヘリコプターS-61が転覆し、ヘリを待っていた客4人が死亡。死者の中にはエクスプロイテーション映画製作者のマイケル・フィンドレイが含まれていた。さらに、ビルの周辺に飛んでいったローターの破片により、マディソン街と43番通りの角にいた歩行者1人が死亡した。
日本においては、パンナムビル時代の1977年から1984年にかけてクイズ番組である『アメリカ横断ウルトラクイズ』（日本テレビ）の決勝戦が、本ビルの屋上で行われた事で特に知られている。
