およそ1年前の2023年7月。22年末にChatGPTを世に出して世界を驚かせた米OpenAIが「スーパーアラインメントチーム」という組織を立ち上げることを世に出した。このチームに与えられた目標は「人間を超える知能『超知能』（superintelligence）を得たAIと人間が協力できるようにするため、その技術的課題を4年以内に解決すること」だった。
そのために、当時OpenAIの共同設立者兼チーフサイエンティストだったイリヤ・サツケバー氏と、アラインメント責任者を務めていたヤン・ライク氏が共同でチームを率いることに。またOpenAIがこれまでに確保した計算能力の20％をこの取り組みにささげることを宣言していた。
しかし24年5月、サツケバー氏とライク氏がOpenAIを退職することになり、同チームは、誕生からわずか10カ月で解散に。OpenAIの超知能への対応は、大きく後退することになった。そのわずか1カ月後、同チームの元研究員が「『AGI』（汎用人工知能、人間と同程度の知能を持つAIのこと）は27年に実現する」と警鐘を鳴らす論文を発表し、話題になったことをご存じだろうか？
スーパーアライメントチーム解散までの10カ月間
論文の話題に入る前に、OpenAIのスーパーアライメントチームについて情報を整理したい。
超知能とのアラインメントに関する課題を解決するので「スーパーアラインメントチーム」と名付けられたわけだが、そもそも「アラインメント（alignment、英語で「連携」や「調整」を意味する単語）」とは何を指しているのか。
公式発表をよく読むと、この言葉は「AIシステムが追求する目標や行動を人間の意図や価値観と一致させる（整合性を取る）こと」を意味していると分かる。AIシステムに任されるのがさまつなタスクであれば、別にその行動を人間の価値観と一致させなくてもリスクは少ない。
しかしいつの日か人間よりもはるかに賢いAIシステムが生まれ、多くの人々に重大な影響を与える判断を下すようになったとき、そのAIと人間が目指すものが一致していなければ、何かしら不幸な事態が起きることは火を見るよりも明らかだ。
それを防ぐためには、あくまで人間の側が主導権を握り「超知能」に対する統制を利かせていかなければならない。しかし現在のAIシステムに対するアラインメント手法は、より高度なシステムである超知能には適用できない可能性が高い。そこで予想される各種の技術的課題を解決し、新しいアプローチを確立することが、スーパーアラインメントチームのミッションというわけだ。
またOpenAIは、そうした統制が必要になるほど高度な超知能が、今後10年以内に実現されるだろうと予測。そのために、このチームに与えたミッションに「4年以内」という時間的制限を設けていたわけである。
しかし23年11月、OpenAIの取締役会が突如としてサム・アルトマンCEOを解任する。スーパーアラインメントチームを率いていたサツケバー氏は、この事件の首謀者の1人とされた。結局この騒動は、最終的にアルトマン氏のCEO復帰という形で幕を閉じる。そして24年5月、サツケバー氏とライク氏の両名がOpenAIを退職。スーパーアラインメントチームは解散となった。
ちなみにサツケバー氏はその後に「安全な超知能」の開発を目指す新たなAI企業のSSI（Safe Superintelligence）を立ち上げている。またライク氏はOpenAIのライバル企業である米Anthropicに移り、スーパーアラインメントの取り組みを続けるとされている。
「AGIは3年後に実現」──レオポルド・アッシェンブレンナーの予測
前置きが長くなったが、ここでようやく今回の主人公、レオポルド・アッシェンブレンナー氏に登場願おう。彼はドイツ出身のAI研究者で、前述のOpenAIのスーパーアラインメント・チームに4月まで在籍し、その後AGIに特化した投資会社を設立している。そんな彼が6月、AGIと超知能の登場とその脅威について警鐘を鳴らす論文「Situational Awareness」（状況認識）を発表し、話題となっている。
彼はこの論文において「予測には大きな不確実性を伴う」としながらも、AGIはいまからたった3年後の27年に実現される可能性があると指摘。さらにAGIがAI研究を自動化して発展させることで、AGI登場から数年以内に、超知能が登場すると考えられると予測している。
この論文の内容について、少し見ていこう。まずアッシェンブレンナー氏は、AGIについて次のように形容している。
最近は多くの人々が、AGIを単に「非常に優れたチャットbot」のようなものとして、下方修正して定義しているように見える。私が言うAGIとは、私や私の友人の仕事を完全に自動化できるシステム、つまりAI研究者やエンジニアの仕事を完全にこなせるようなAIシステムのことを指す。
つまりAGIとは、人間とほぼ同程度の能力を持つAIということだ。いくら最近の生成AIが驚くほど高性能になっているとしても、さすがに数年で私たちの知性に肩を並べるほどになるとは考えづらいが、アッシェンブレンナー氏はどのような根拠でこの予測を行っているのだろうか？
彼が主に挙げているのは、当然ながら技術的な要因だ。彼は論文の冒頭において、以下のように印象的な表現で、自らが正しい技術的トレンドを見ることのできる立場にいると宣言している。
やがて世界は目覚めるだろう。しかし今のところ「状況認識」を持っているのは、サンフランシスコやAI研究所にいる数百人程度の人々にすぎない。運命の不思議な力によって、私はその中の1人となった。数年前、そうした人々はクレイジーだと嘲笑されていたが、彼らはトレンドの流れを信じ、それによって過去数年間のAIの進化を正しく予想することができた。
ではどのような技術的トレンドが、3年後のAGI実現をもたらすのか。彼によれば、それは計算能力の飛躍的向上と、アルゴリズムの効率化、そしてモデルの「アンホブリング」（制約解除）だ。
AIの急速な進化により、いまやムーアの法則を超えるペースでAI開発への投資が急増しており、今後数年間で世界全体の計算能力がさらに向上することが見込まれている。当然ながらそれにより、より高度なAIモデルの学習が可能になる。またアルゴリズム自体が効率化することで、同じ性能を達成するために必要な計算量が削減される。この効率化は計算能力の向上と相まって、AIの性能向上に大きく貢献すると予想されている。
そこに加わるのが、AIモデルのアンホブリングである。これはAIの潜在能力をさらに引き出す仕組みや技術を指す言葉として使われており、例えば人間のフィードバックによる強化学習（RLHF）や思考連鎖（CoT）などの技術がある。それがAGI実現への重要な要素となると指摘している。
さらにアッシェンブレンナー氏は、産業界の大規模投資もAGI実現の追い風として挙げている。AIブームの高まりにより、大規模データセンターの建設やGPUの改善といった取り組みへの投資が増え、より強力なAI開発のためのリソースが拡大している。これらのトレンドが、過去4年間（GPT-2からGPT-4まで）でAIが示した性能向上と同レベルの進化を、今後4年間で実現すると彼は指摘している。
超知能の登場で懸念される“3つのリスク”
こうして登場した人間レベルの知性を持つAGIは、必然的にAI研究に投入され、無数のAGIがAI研究を自動的に行うようになる。その結果、アルゴリズムの改善が効率化し「通常10年かかる進歩が1年で達成される」とアッシェンブレンナー氏は予測する。
結果、AI技術は指数関数的な成長を遂げるようになり、AGI誕生から数年以内に、人間レベルから超人間レベルの知能システムへと急速に移行するだろうというのが彼の見立てだ。こうしたAGI、そして超知能のリスクについて、彼は主に3つの点を指摘している。
まずは技術的リスクだ。核ミサイルや原発など、既に私たちの手には、その制御が失われれば人類の存亡すら危うくしかねないテクノロジーが握られている。超知能もそうした「確実な制御が必要不可欠な技術」の1つといえるだろう。
しかし人間よりもはるかに賢いAIシステムを信頼性を持って制御する技術的問題は、未解決であり（それこそOpenAIのスーパーアラインメント・チームが設立された目的だった）、AIの爆発的な進化によって、制御が失われる恐れがある
第2に、経済的リスクが挙げられる。AGIや超知能の開発のために巨大な投資が行われ、国家戦略として産業全体が動員されれば、電力やGPUへの需要が急増し、経済的な負担が増加。それは一時的にさまざまな雇用を生むかもしれないが、逆にAGIが多くの職業を自動化することで、大規模な失業が発生する恐れもある。
第3は社会的リスクだ。AGIや超知能は局所的に優れた能力を発揮する一方で、急速な技術進歩に社会が適応できず、不安や反発が広がる可能性がある。また技術を正しく活用できるのが一部の企業や社会層だけだった場合、恩恵を受ける人々とそうでない人々との間で経済的・社会的格差が拡大する恐れがある。
さらにアッシェンブレンナー氏は、国家主体によるAIの開発競争が激化することで、機密情報の漏えいやサイバー攻撃のリスクが増大するという、安全保障上のリスクについても指摘している。
特に彼は現状について、中国や北朝鮮といった権威主義国家と、欧米先進国のような民主主義国家間のAI軍拡競争が起きていると解釈。「主な（おそらく唯一の）希望は、民主主義国家の同盟が、敵対的勢力に対して健全なリードを保っていることである」という強い表現で懸念を示している。
こうした多様なリスクがあるにもかかわらず、現時点では、進化したAIが引き起こす問題に対して、誰が責任を持つのかが曖昧なままとなっている。それを乗り越えるためには、技術的な解決策を開発するだけでなく、政策や倫理面での検討も進めていく必要があるとされている。
“3年後にAGI実現論”への反対意見
アッシェンブレンナー氏は、こうした主張を精緻なロジックとエビデンスに基づいて展開。さまざまな専門家から注目を集めている。しかしその意見が無批判で受け入れられているわけではない。例えば「AIの性能向上がこれまでと同じペースで進む」という前提について、それが消費する資源という観点から疑問が呈されている。
現時点でも、AIの開発と運用には膨大な資源を消費しており、過去4年間に十分なリソースが投じられてきたからといって、今後4年間のさらなる飛躍に必要なリソースが集まるとは限らない。特に最近では、大規模な基盤モデルのトレーニングに必要な学習データ（人間がつくった純粋なコンテンツ）の枯渇が進んでおり、これまで通り性能改善を進めるのが難しくなりつつある。
また環境問題や社会問題に対して、人々からより厳しい視線が注がれるようになっており、国もAI開発だけに力を入れるわけにはいかない。そんな中で「果たしてこれまでのような取り組みが持続可能だろうか？」というわけだ。
そうした疑問を持つ人々は、GPTシリーズのような基盤モデルのトレーニングにおける資源需要の加速が、具体的な利益や肯定的な成果における加速と一致していないと主張している。結果、AGIや超知能の開発は、たとえ潜在的に有益であったとしても、コストを度外視してまで進められるようにはならないだろうと予測している。
単純に、彼が自らの予測能力を過信しているのではないかという指摘もある。彼がOpenAIで過ごした時間は1年半あまりで、まだ20代前半という若さであり、狭い経験から問題を分析してしまっている恐れがある。実際に、AGIや超知能を巡る複雑な問題を単純化してしまっているのではないかという声もあり、彼のシナリオ通りに物事が進むかどうかは未知数だ。
AGI、超知能の登場は避けられない未来か
とはいえ彼の見てきた、OpenAIというAI開発の最前線における技術革新のスピードも、真実の1つの側面といえるだろう。タイミングが遅れたとしても、いずれはAGIや超知能といった技術が実現される可能性は高い。彼の警告に耳を傾け、人間を超える能力を持つAIが生まれたときのリスクに備えておくことは、十分に価値があるはずだ。
解散してしまったとはいえ、OpenAIのスーパーアラインメントチームは、この問題に正面から取り組むものだった。その姿勢はサツケバー氏とライク氏がそれぞれ引継ぎ、彼らは新天地でアラインメント問題への対応を続けている。
また米国の大手金融機関であるシティグループは、最近発表したレポートの中で、企業内でAIのガバナンスに取り組む人々が増加していることを指摘。さらにEUで成立したAI法のように、包括的なAI規制の枠組み整備は、そうした人々にとって追い風となると考えられる。恐らく私たちに求められているのは、今回のような警告が当たるか当たらないかを考えることよりも、それに対して国や企業、さまざまな専門家たちが打ち出す対応を注視していくことだろう。その中にはスーパーアラインメントチームのように、解散という形で終わる取り組みもあるかもしれない。しかし、そうした経験の積み重ねの中から、AGIや超知能に対して、真に有効なガバナンスの在り方が生まれてくるはずだ。