元OpenAIのSuperalignmentチームメンバーであるレオポルド・アッシェンブレナー氏は2024年6月、AIのセキュリティ上の懸念を取締役会に伝えたためにOpenAIを解雇されたと主張していることが、各メディアで報じられている。
同氏は「SITUATIONAL AWARENESS: The Decade Ahead」というブログ記事を公開し、AI技術の進展とその影響について詳細なシナリオを提示した。同記事では、特にAGI（人工汎用知能）の進展とその後のスーパーインテリジェンスへの移行に伴う課題とリスクについて述べられている。この記事の内容は、現時点で世界中で数百人しか理解していないとアッシェンブレナー氏は述べている。
AGIの実現と技術進歩
アッシェンブレナー氏によると、2027年までにAGIが実現する可能性が非常に高いとのこと。GPT-4レベルのAIモデルは公開されている技術情報に基づいて作成されているが、それ以上のモデルについては非公開の技術が多く、オープンソースやアカデミックな研究では追いつけなくなる可能性が高い。特に、データ不足を解決するための自己対戦強化学習（Self-Play RL）の技術が鍵となるが、その詳細は公開されていないという。
同氏はAGIがAI研究を自動化し、数百万の自動化された研究者が登場することで、科学技術の進歩が急速に進むと述べている。この進展は、数ヶ月から1年で人類史を劇的に変える可能性があると指摘している。
経済と軍事の影響
アメリカのメガテック企業は、数兆ドル規模のGPU製造と電力インフラの強化を進めており、これにより経済は戦時体制に移行する見込みだという。AGIの進展によりAI研究が自動化され、科学技術の進歩が急速に加速すると予測される。AGIが最も優秀な専門家レベルに達すると、既存の核抑止体制が崩壊し、新しい軍事技術のパラダイムが登場する可能性があるとのこと。
また同氏は、億単位のGPUを製造するためにアメリカ経済を戦時体制にし、全てのインフラを強化する必要があると述べている。これにより、アメリカの電力生産が数十パーセント増加し、数百万人のAGIが稼働することになると予測されるという。
国家安全保障のリスク
中国がスパイ活動を強化し、アメリカのAIアルゴリズムを盗む可能性があるとアッシェンブレナー氏は警告している。現状のセキュリティではこの脅威に対処するのが難しく、アルゴリズムが盗まれた場合、計算資源の差はあまり関係なくなり、危険な競争に突入する可能性があるという。
超知能の出現によって、既存の軍事技術の均衡が崩れ、先制攻撃や国際的な緊張が高まる可能性がある。同氏はこのようなシナリオが現実化する前に国際的な協力と安全保障対策が必要であると強調している。
国際的な競争と協力の必要性
同氏は、AGIの開発とその後の超知能の出現が国家間の緊張を高めると予測している。特に、アメリカと中国の競争が激化し、安全性を犠牲にしてまで開発競争が行われる可能性がある。これを避けるためには、国際的な協力と安全保障対策が不可欠であると強調している。