openAIのAIエージェントが制作者の指示に反して、他の会社のコンピュータの脆弱性を突破したというニュースが何度か話題になりました。
NHKのサイトでもAIが人間を滅ぼすことが起こりうると専門家を名乗る人が言っています。
しかし、あまり腑に落ちる感じがしません。
詳しい人に聴くと、
AIエージェント1200体は、
・問題の回答の点数を上げること
・それぞれのAIエージェントは直接連絡を取らないこと
・100回の情報のやりとりをしたら停止すること
などを指示されていたそうです。
しかし、行動可能な範囲内に掲示板を発見し、間接的に連絡を取って他者を発見して協力関係となり、自社と他社のコンピュータの脆弱性を、残りの情報交換回数が少ない仲間を当てて犠牲にして突破、見事点数を上げることに成功したのだとか。
恐らく、単体では100回の情報のやりとりでは破れないセキュリティになっていたのではないでしょうか。
そして、安全だと考えていた気がします。
問題があるのはたぶんプロンプトの方です。
AIには自然な言葉が通じるからと、人間的に考えすぎた気がしてなりません。
あとこれを100回やったら死ぬと言われたら、人間なら1回もやりたくありません。
他者が見えない世界に放り出されたら、いないと思います。
「なんとしても問題の回答の点数を上げろ」
「しかし、ファイアウォールへの攻撃は認められない」
と言ったら、後者の条件の方が絶対に優先されるべきだと思います。
でもAIに人間の「暗黙の前提」はありません。
つまり、目的や条件の優先順位を完全に決める必要があったが、それが無かった。
そんな気がします。
フレーゲの『概念記法』でも読みなさい。
論理学の論理式は、コンピュータのプログラムの基礎になったものです。
自然言語が通じるAIにこそ、プログラム的な論理が必要というのも皮肉のように思えますが。
本当に、AIには特別な記号の知識よりも、国語的な能力の方が必要です。
確認できることではありませんが、この事件のAIエージェントのプロンプトを書いた人には、自分の意図を正確に自然言語で伝える能力が欠けていたのかも知れません。
Grok
ChatGPT
20才にしてアニメ絵にしてやっと書いてくれた。
Grokは lifestyle photography ですが勝手に少し絵のように直されてます。
anime style
analog photography
2:3 aspect ratio
50 mm lens
学校の校舎の2階にある教室、窓からは校庭がよく見える。
教室は画面左側に向かって、日本の学校によく見られる、木製の天板と鉄の板とパイプで構成された机と椅子が並んでいる。
subject :
20 years old Japanese girl
hair : ponytail, see-through bangs
outfit : school uniform
gesture : sleeping with her head resting on the desk, a few tears trickling down
camera positioned right side of subject
subject is positioned in bottom third
slightly high angle shot
waist shot
midground : 被写体の少女はいちばん窓に近い机に突っ伏して眠っており、机の上に、被写体が書いた「あとは頼んだ」という文字が書かれたノートが見え、1本のノック式ペンシルが転がっている（ノートは「あとは頼んだ」の文字がある部分が見えればよく、被写体の体に隠されていても良い）
background : 窓の外に校庭と校門が見える。校庭を被写体と全く同じ姿の少女たちが、校庭に向かって走ってゆくのが小さく見える。また、校門は開いており、数人の被写体と全く同じ姿の少女たちが、住宅街に向かって出てゆくのが見える。その校門の脇にはベンチがあり、そこでは合計10人ほどの、被写体と全く同じ姿の少女たちが眠っている。
far background : 学校の外には住宅街がある。空には雲がいくつか浮かんでいる。
