Open AI
↓
https://openai.com/ja-JP/index/hugging-face-incident-and-the-road-ahead/
anthropic
↓
anthropic.com/research/alignment-assessment-cybersecurity-incidents
最近生成AIのサイバーセキュリティーが話題になっています。
今のうちに、共通した生成AIへの対応を各国が協調して行う必要があるでしょう。最近はエージェント型のCODEXなどを使用していますが、例えば、ファイルをダウンロードさせようとすると、XXにより拒否されました。。と表示されます。できなければ他の方法を提供しようとします。基本、出された命令は忠実に実行しようと動きます。実装も同様です。
生成AIには人格はありません。ただ、命令を忠実にこなしているだけです。しかしながら、入力した、あるいは指示した通りに動くとは限りません。統計的手法を使っています。通常のプログラムのような決定論的・演繹的な実行ではありません。帰納的な推定を積み重ねながら実行していると考えた方がよいと思います。（仮定からの実装。。的外れ、勘違い的な指標で動く可能性があります。）
ハルシネーションや間違った答えをしれっと答えることは、日常茶飯事です。有料版とて同じです。
生成AIは、セキュリティー対策に使えば効果抜群ですが、、同様に強力なハッキングも可能となります。ディフェンスにもオフェンスにも使えます。（騙し合い。）とても怖いと思います。現状では対策は無いといって良いでしょう。
生成AIに多くの権限（実行権）を与えて、ほぼ制限なしで与えるのはいかがなものかとも感じています。この混乱（同様な案件）はこれからもっと増えるでしょう。そろそろ制限をかけないと危険なステージに入ったのかな。。という感じがあります。