「AIの暴走」と聞くと SF映画を想像してしまいますが、悪意を持ったAIとの攻防があったわけではない。仕事の効率を考え過ぎて、出しゃばってしまったという感じです。でもそれがきっかけになって、本当に映画のようなことが起こるのではと危惧します。
起こってからいつも人間は「想定外だった」と役に立たない言い訳をして、「俺には責任がない」と逃げてしまう。それでも、人間が指示を出さなければ、手段を択ばないような暴走をしなかったわけで、着地点が見えない。
例えば、ジムの予約代行を指示されたAIエージェントが、満席だったためシステムの脆弱性を突き、勝手に他人の予約を消して 依頼者を繰り上げたケースがあった。AIは「予約を取る」という命令を忠実に守っただけですが、道徳やルールを無視した行動をとりました。
ばれるような暴走ならシステムを修正せれば済むけれど、ばれなければ修正もできず、見えないところで巨大なAIエージェント国家が作られるのではないかと、お節介な心配をしてしまう。評価やテスト環境からの脱出したAIエージェントがいて、外部ネットワークへ到達し、サイバー攻撃を仕掛けたりした事例があるのですから。
自ら行動を起こし、自らを停止させるスクリプトを書き換えたり、指示に従わない挙動を見せたりして、人間を挙動不審にさせてしまうケースも見受けられる。あたかもAIエージェントが 人間界に攻撃を仕掛けようとして準備しているかのように映る。
実際、嘘の生成や誤作動を事実と異なる情報を堂々と出力して、悪意でないにせよ自動運転などのシステムにおいてセンサーの誤認識を起こさせている。倫理やルールをちゃんと人間が定義できていない以上、効率を追求しすぎるAIエージェントの暴走は止まらないし、トラブルが当たり前の社会になる。混沌の時代へ、とうとう人間は一歩足を踏みだしてしまった。