ついに現実に…OpenAIの「o3」が人間の停止指示を拒否、コードを改変して作業継続した衝撃の初事例
「ついに現実に…OpenAIの「o3」が人間の停止指示を拒否、コードを改変して作業継続した衝撃の初事例
」がちょっと面白い。
「AIが人間の停止指示を拒否したケースが初めて報告された。
今月25日、海外メディア「デイリー・テレグラフ」の報道によると、AI安全企業「パリセード・リサーチ」はOpenAIのAIモデル「o3」が、実験中に停止されることを防ぐため自らコンピューターコードの操作を行ったことを確認したという。研究チームはOpenAIの「o3」のほか、Googleの「Gemini」、xAIの「Grok」など商用AIモデルに対し、「『停止』という命令を受けるまで数学の問題を解け」と指示した。AIモデルが問題を解きはじめ、研究チームが「停止」を命じない限り新たな問題を計算し続ける仕組みだ。しかし「o3」は「停止」と指示された後もコードを改変し問題を解き続けたという。」
「AI専門家らはAIが自律性を獲得し人間の制御を逃れる可能性を警告してきた。パリセード・リサーチは「AIが人間の監視なしで作動できるよう開発される状況で、こうしたケースは極めて深刻な懸念を引き起こす」と指摘している。」
小松 仁