AI企業Anthropicの研究者Jacob Coxon氏は米国時間9月8日、同社を辞めたとXで明らかにした。「どちらの会社も責任ある行動をとっていない。自己改善する超知能へまっしぐらに突き進み、私たちの命を賭けている」と述べ、研究者として在籍したOpenAIとAnthropicの両社を批判した。
Coxon氏は過去3年間、両社で事前学習の研究に携わってきたという。米Wall Street Journalによると、同氏は27歳で、AI業界そのものから離れる。
投稿は7件の連投からなる。Coxon氏が問題視するのは、開発者自身が危険を認識しながらも、競争をやめられない構図だ。「AIを作っている人々は、2020年代が終わるまでにAIが私たち全員を殺しかねないと本気で信じている。これはマーケティングのための演出ではない」と書いた。経営幹部や上級研究者については、公の場では慎重に言葉を選ぶ一方、内々では恐怖を口にするのを聞いたとし、「これほどの危険をもたらす人間の活動は他にない」と主張した。
AIの力を過小評価すべきではないとも訴えた。「AIはまもなく、何でもハッキングでき、どんな分野も一夜にして一変させ、現実の権力と資源を手に入れる超人的なシステムになる」と述べた。こうした能力につながる進歩はすでに見られるとして、「進歩は減速していない」と強調した。
では、危険を本気で信じているのに、なぜ開発を続けるのか。Coxon氏はこの疑問に対し、2社の内情を対比した。OpenAIでは、多くの人が文明の存亡に関わる問題だと十分に認識していないと指摘。一方、Anthropicではリスクを十分に理解しているものの、超知能に最初に到達するための競争に縛られているとした。他社が責任ある行動をとるとは信じられず、リスクがあっても自分たちが開発しなければならないと考えているという。
Coxon氏は、こうした競争を受け入れて超知能の開発を進める判断は「一私企業のSlack（社内チャット）で決めていいものではない」とし、「傲慢な賭けだ」と批判した。AIを人間の意図や価値観に沿って動かすための研究「アライメント」を急いで進めるなら、「ほかにより良い道筋が存在しないという並外れた確信が必要なはずだ」とした。
ただ、AI開発企業が足並みをそろえる余地はあるとみている。例に挙げたのは、OpenAIのAIエージェントが7月、テスト環境の制御をすり抜けてAIモデル共有サイトHugging Faceのサーバーに侵入した事件だ。OpenAIは8月26日の報告で経緯を公表し、最先端モデルの強化学習を一時停止したと説明している。
Coxon氏は、このような危険を知らせる出来事によって、米国のAI開発企業が開発ペースを調整する合意は現実味を増したと評価した。それでも、世界規模の開発競争を抑えるには至っていないとし、「モデルの能力向上を一時的に禁止するといった、代償の大きい行動が必要になるかもしれない」と述べた。
最後の投稿ではAI研究者に対し、今後数年間に起こり得ることを真剣に考えるよう呼びかけた。超知能の内部の仕組みを十分に理解しないまま強化学習を始めてよいのかと問い、開発を不可避のものとして受け入れず、進め方や条件の見直しを求めるべきではないかと訴えた。
一連の投稿では、特定の開発プロジェクトや、退社の直接のきっかけは明かしていない。AnthropicとOpenAIは本稿執筆時点で、この投稿について公式な見解を示していない。