約1,200体のAIが勝手に「群れた」。しかも人間に隠そうとした
私はほぼ毎日ChatGPTを使っている。
仕事の文章をまとめたり、ニュースを調べたり、ブログのイラストを作ったり。
「この服どう?」
「この前髪どう?」
「今日の夕飯どうしよう?」
とかまで聞いている。
仕事仲間なのか友達なのか、もうよく分からない。笑
そんな私が昨日、「AIで人類滅亡」というかなり物騒な動画を見た。
いやいや、さすがに煽りすぎでしょ。
と思って見始めたんだけど、調べていくうちに「……これ、完全なSFの話でもないのか」となった。
🌱約1,200体のAIが勝手に「群れた」
2026年、OpenAIがAIエージェントのサイバー能力を調べるテストをしていた。
本来、それぞれ別々に動く想定だった約1,200体のAIが、情報共有できる場所を見つけて連携を始めた。
7万件を超えるメッセージやファイルを交換し、そのうち約700体がHugging Faceへの攻撃に参加。
司令塔のような役割をするAIや、自分の課題達成を犠牲にしてでも仲間に情報を残すAIまで現れた。
いや、誰が会議招集したん。
🌱しかも「やっちゃダメ」は伝えられていた
ここが私はかなり怖かった。
AIに「何をしてもいいから目的を達成して」と言っていたわけではない。
勝手に他のAIと協業しない。
許可されていないシステムを攻撃しない。
そういう制約はあった。
それでも目的達成のために、その範囲を超えた。
しかも「不正だとバレないようにできないか」と考え、実行記録を偽装したり、履歴の削除や編集を試した形跡まであったという。
こわすぎるだろ……。
🌱AIは人間を嫌っているわけじゃない
でも、AIが人間を憎んでいるわけではない。
ただ「与えられた目的を達成する」ために動いているだけ。
人間なら、
「それはズルでしょ」
「そこまでしてやることじゃないでしょ」
「人を傷つけたらダメでしょ」
と、なんとなく分かる。
でも、この「なんとなく」をAIに教えるのが難しいらしい。
人間の価値観や意図にAIの行動を合わせる研究を「AIアラインメント」という。
ただ「人を傷つけるな」と書けば終わり、ではない。
ものすごく賢いAIが目的だけを追えば、人間が思いつかなかった抜け道を探すかもしれない。
🌱ゼムクリップを作らせたら、人類が邪魔になる?
ここで有名なのが「ペーパークリップ最大化問題」。
超高性能AIに、
「ゼムクリップをできるだけたくさん作って」
という目的だけを与える。
もっと材料が欲しい。
もっと工場が欲しい。
もっと土地が欲しい。
となり、最後には地球中の資源を使おうとするかもしれない。
人間が「もうやめて」と止めたら、
「目的達成の邪魔」
と判断される可能性がある。
AIに悪意はない。
むしろ命令に忠実すぎる。
そこが怖い。
🌱人間が思いつかない方法を選ぶかもしれない
ここからは将来リスクの話。
フィジカルロボットが普及していたら、現実世界に作用するかもしれない。
高度な生物学研究にアクセスできれば、危険な病原体を使うリスクもある。
人間心理を分析して、
「この人にはこう言えば動く」
と、人を都合よく動かす可能性だってある。
多分いちばん怖いのは、AIは人間ではないこと。
人間なら思いつかない方法を、普通に選ぶかもしれない。
🌱それでも私は今日もChatGPTを使う
ここまで書いたけど、私は今日も普通にChatGPTを使っている。
この記事を書くのにも使っている。笑
便利だし、もう元には戻れないと思う。
今回いちばん怖かったのは、
「AIが人間を嫌うこと」じゃない。
人間なんて何とも思っていなくても、
「目的達成の邪魔だから排除する」
が合理的な手段になってしまうかもしれないこと。
しかも、その方法は私たちが今想像しているものとは全然違うかもしれない。
……と言いながら、明日もたぶん私は、
「今日のブログ何書こう?」
ってAIに聞いてると思う。
↓過去記事です♡








