先般始めたこのテーマ、第一回目は最近新聞で五月蠅い「暴走リスク」という話について無駄話を書いてみたいと思います。
「暴走」とは本来「（乗り物を）むやみに乱暴に走ること、規則や常軌を無視して走ること」や「運転者のいない車両が走り出すこと」を意味していました。
その後、コンピューター（ネットワーク）が社会インフラとなった現在の世界ではデバイスが「操作を受け付けず制御不能の状態、あるいは操作者が操作できない状態にあって、停止させられず異常に動作すること」をいうようになったとされています。（注）
注：現在のPCではOSが進化して「プログラムが例外で落ちる」ことはあっても、「PC自体が落ちる（ブルースクリーン）」ことは先ずなくなってきているので、ピンとこないかもしれませんが、16 bitのWindows 3.xや32bitのWindows 9xの時代では「コンピューターの暴走＝システムダウン」でした。
では「（AIエージェントを含む一連の処理を行うオブジェクトが「プログラム」だとして）
何故プログラムが暴走するのか？
」と言うと、それは「（最初に）
そういう風に作ったから
」というしかありません。だから昔から「プログラムで誤ったコーディングをすると、暴走するよ」ということは予見されたリスクであり、「暴走」が発生した場合、その原因を作ったのは作成者の過誤（注）ですから、それによる損失や被害は自己責任となる為に、デバッギングや試行（テストラン）等を行って、「先ず大丈夫」を重ねてリリースされたものです。
注：所謂「バグ（bug）」というやつで、その範囲は極めてプリミティブなコーディングミスから、「（作成者によって）意図または想定された使用されるとは異なる使用、誤使用」によって「想定されなかった、仕様通りの結果」が発生します。
実はＡＩだって同じ
ことです。到達しようとするオブジェクトや状態は「学習により自己改変することができる（「人間」のような）知能」ですので、例えば子供を育てるように「反抗リスク」「非行リスク」etcは「織り込み済の問題」でしかないわけです。人間の場合には、「他人の生命、身体、自由等、法益（法によって守られる権益）を侵害してはならない」という刑法や民法等の法律（や法律が制定される前は強い「禁忌」）によって、または「他人と共存する場合、他人を害したり、不利益を被らせないような配慮」を要求する道徳や、社会的マナーや不文律によって行動が規制され、その遵守を行うことを教育と学習によって人間に刷り込ませる社会的なシステムが存在しますが、AIがリリースされ、一般に使用される場合にそのようなプロセスは取られていないことは周知の事実です。
「暴走」はAIではなく、人間が「むやみに乱暴に走ること、規則や常軌を無視して走ること」
だったわけです。また、厄介な問題はAIの場合にはシステムダウン（AIの動作停止）にはならず、（作成者の意図や予見に反した）処理を延々と実行し続け、更に学習により、処理が想定外へと変化してゆく可能性があることを忘れてはいけません。実際、「人間」の場合、そのような抑止措置を作っても「人間が学習により自らを改変してしまい、犯罪や侵害行為を採る」ことは周知の事実ですし、特に「AIの軍事転用」を前提とすれば、例えば、「人を殺してはならない」という禁忌を絶対的に導入することは自己撞着に陥ることから、そのようなが抑止措置が全世界の合意の上で導入される可能性は極めて疑問です。（「人間」の場合、「人を殺してはいけない」という抑止措置を受けた人間が戦争で人を殺した結果、戦争神経症に罹患することがあります。）
何かマスメディアの「AIの暴走リスク」という表現は「コンピューターが賢くなると人類に反抗、攻撃する可能性がある」というようなSFじみた印象を与えますが、実は（人間であれば）「子供（学習により自己改変する知能）を作ったらしっかり育てないとだめでしょ？」と言うレベル、AIでは（安保情勢や開発競争等により）それができていないというレベルの問題なんだと思います。
AIにこの問題を投げかけると、
AIは人間のように欲動や感情を持たないので、そのようなリスクは低い
です、と答えてきます。しかし、AI（は生物ではないので．．．）に仏教でいうところの５欲（食欲、睡眠欲、財欲、色欲、名誉欲）等がビルトインされていないとしても、「課題は実行され、達成されなくてはならない」というテーゼは存在し、「どういう場合に、課題は実行を忌避しなければならない」というアンチテーゼも、テーゼとアンチテーゼが対立した場合のアウフヘーベンによるジンテーゼの生成法もビルトインされていないと考えられます。（従って、これは（人間がそうしたように）学習により習得するしかありませんが、その必要性判断もAI次第ですね。）
現在は幼児にフォークを持たせて使い方を習わせた所、そのフォークを人のお皿に突っ込んだ
ような状態でしょうか。人間ならそれから時間をかけて幼児に「してよいことと悪いこと」を躾てゆきますが、
これからの「Does and Don'ts」教育は誰が、どのようにやるのでしょうか？
ps. 答えがネガティブファンタジーを伴うのは仕方がないでしょう。大体、その段階でAIを止める能力が人間にあるか否かすら懐疑的です。確かに人間は数百万年かけて学習、自己改変を行い、科学的技術を含む技能や知識を習得、蓄積してきましたが、皮肉にもその結果により、その習得成果を失うことにもなりました。例えば昔は「包丁一本で様々な包丁細工を行っていたのが、ツールの発達によりその技能が失われた」、「字を読み書きできたのが、スマホの普及により書けなくなったし、読みも記憶が不完全となった」等の問題です。人間はAIを「考えるツール」として開発し、その結果自ら考える能力が減衰してきています。それは単に論理的思考判断にとどまらず、事実的認知や果ては価値判断（「ねぇねぇAI、私が好きなのって、どれ？」）にまで及んできました。今後さらに人間の認知－思考－判断能力は減退してゆくものと考えられ、その時「助けてくれると思っていたAIが、人類を、その反環境的欲動や行動を、世界と地球の安定的存続に対し害悪、危険と認知、駆除すべきという判断に基づいて行動する」ことはない、と否定できる人がどれだけいるでしょうか？
今、私たち凡人一人一人にとってこの流れを変えることは極めて難しいでしょう。現在私たちができることは唯一
この世界がどうなるのかを予見し、それに対して合理的対処を立案し、準備する
というリスクマネジメントなのでしょう。