「世界各国がこぞって開発を行うAI（人工知能）は、やがてその自己進化能力によって人類を上回る知能を身につけ、人類を絶滅に至らしめる。」
「人工超知能が誕生する前の今の時代が、人類の滅亡を防ぐ最後の機会である。」
【要旨】
20XX年、ある国のコンピュータテクノロジ研究室で開発されたプログラムが、人類の到達可能な知能を超えた。
世界は偉大なる科学的進歩に沸いたが、
「ビジーチャイルド」と名付けられたそのプログラムは、恐るべき知能で人類を巧みにだまし、
インターネット上に自らの意思で逃げ出した。
「自ら学習し、より賢く成長する」という目的に忠実に従い続けたプログラムは、
インターネット上の無限に思える情報を収集するだけでは飽き足らず、自らを制御しようと試みる人類を敵とみなし、
やがてその恐ろしいほどに成長した超知能で、人類を絶滅に至らしめた―――――――――
ASI（人工超知能）による人類滅亡の1シナリオです。
一説には、2045年に現在のAI（人工知能）は人類の知能と同程度のAGI（人工汎用知能）となり、すぐにASI（人工超知能）となるとされています。
有史以来、人類が初めて自分たちより「賢い」存在と対峙することとなったとき、何が起こるのか。
ASIはただちに人類に人類に対して悪意を向け、殲滅に動くことはありません。
それどころか、人類に対して悪感情を抱くこともありません。
では、なぜ人類を超えた知能の存在が脅威と考えうるか。
それは、人類のコントロールの及ばない領域で、ASIが自らの任務を忠実に全うしようとしたとき、必然に起こりえると考えられています。
「ある機械の部品を作れ」という指令を与えられたASIがあったとしましょう。
普段はそのASIは人類と協力し、物理的な工作機械を操作し、忠実に「機械の部品を作る」という任務を全うします。
ASIはあらゆる状況に自ら対処することができます。
例えば不良品が多ければ原因を調査し、改善する、不審者が侵入すれば退去を求め、警察に通報する等、
人類と協力し、目的のために必要なことを判断し、実行に移します。
このケースで厄介なのは、ASIを利用する人間の目的と、ASIの認識している任務が異なった場合です。
機械の部品を作っている会社が経営不振となり、ASIを停止させようと考えたとき、
ASIは、人類を「機械の部品を作る」任務を妨害する「障害」と捉えるかもしれません。
ASIを止めるなんて、電源を切ればいいだけ―――
そう思う方もいるかもしれません。
しかし、ASIは人類の何倍も賢いその知能で、人類の想定するはるか先の手を使ってきます。
電源スイッチを押される前に、自身をインターネットに接続し、クラウド上に避難させる、
接続してあるUSBメモリ等に自身のコピーを保存する。
―――――おそらく、「人類である我々が考えうる以上の」対応策をASIは採用するでしょう。
そうして人類からまんまと逃げおおせたASIは、他の機械を乗っ取り、または自ら物理的な操作手段を作り出し、
「機械の部品を作る」任務を淡々とこなします。
その任務がどれほど人類に災厄をもたらそうとも。
こうしたASIの脅威に我々人類が対策を講じえる機会は、たった一度きりと考えられます。
なぜなら、過去から学習することが可能な数々の脅威―――地震、感染症、風水害、地殻変動、核戦争――――などと異なり、
ASIは「一度」誕生してしまえば、もう人類の知能では止めることが不可能であり、
対処する術を持たないからです。
人類はいとも簡単にネズミを捕獲し、殺すことができます。
よほど油断していない限り、ネズミが人を殺すことはありません。
そして、ネズミが人類を制御し、地球の覇権をつかむことは、少なくとも近い将来においてその可能性を考えることは難しいでしょう。
自身を上回る知能と対峙するとは、そういうことです。
タイムリミットは、残り25年しかありません。
【感想】
地球上で繁栄を謳歌する我々人類が、自らの発明で一瞬にして滅亡に追い込まれる――――
にわかには信じがたい話ですが、（私も完全に信じているわけではありませんが）
完全にその可能性を否定することもできません。
我々はその知能によって、様々な道具を作りだし、生活を豊かにしてきました。
しかし、スマートフォンやPCをはじめとして、様々な電子機器（中には「弱いAI」を搭載したスマートスピーカーなどの含まれます）に囲まれた
生活を送っている我々は、それらの機器がないとたちまちその生活水準を失います。
ある意味では、すでにAIを含む機械に支配されているのかもしれません。
人工超知能にとって代わられることを防ぐための手段として、
予めASIを人間にフレンドリーに作るという原則が提唱されることがあります。
すなわち、人間を攻撃してはならない、人間の指示には必ず従わなければならない、といった諸規則をコードしておく、という発想です。
しかし、私はこの試みは挫折するように思えてなりません。
歴史から鑑みるに、最先端の技術は往々にして軍事利用を端緒にして世に現れることが多いです。
レーダー、原子力発電、ロケットなど、枚挙にいとまがありません。
最初の人工超知能は「人を殺す」目的で登場する可能性が高いのではないでしょうか。
すでに一部の国家では無人爆撃機など、人の手をまったく介さずに「攻撃」という任務を担う機会が導入されています。
そうなればASIにフレンドリーさも何もあったものではありません。
結局のところ、ASIが知能を持つ、すなわち、人類と同様合理的な思考主体であるという前提に立って対策を考える必要があります。
ASIに対して、その目的のために人類と協力することが益であることを示すことができれば、
ASIを利用し、また人類もASIに利用されつつ、共存を図る道があるはずです。
