人工知能の勉強を進めていくと、すぐに「シンギュラリティ」という問題にぶつかりました。
「技術的特異点」という意味で、2045年に人工知能が人間の知能を上回る、という考え方です。
これだけ読むと、何か良いことが待っているように思えます。
グーグルに加わったレイ・カーツワイルはこの言葉を次のように定義しています。
「急速な技術革新によって人間生活が後戻りできない形で一変したあとの「特異的な」時代で2045年頃から始まる」
「後戻りできない」というところに、恐ろしさが潜んでいます。
シンギュラリティの問題を考えたときに、キーポイントになるのは、人工知能の自己学習能力です。
人間が、ある目的のためにプログラムしている間は人工知能は人間の管理下にいてくれます。（実はこれもあやしいのですが）
ところが、人工知能が自己学習能力を獲得したとたん、人間の管理下から離れてしまう可能性があるのです。
自己学習能力とは、
①目的のために自分自身で知識を獲得するだけではなく、
②目的のために自身でコードを書き換えて自分自身をより良くしようとし、
③目的のために自分自身を維持しようとする
ことです。
コンピューターの処理能力は、ほぼ18ヶ月ごとに2倍になると言われています。
人工知能が一度①から③までの能力を獲得してしまうと、ある時点から指数関数的に急カーブを描くようにその能力が向上していきます。
核分裂のように知能爆発が起こり、後戻りできなくなるのです。
そして人工「超」知能が誕生します。
その時点から人間の知能を越えるわけですから、人工超知能より劣る人間が人工超知能が何をするのかを予測すること困難です。
人工超知能は、悪意を持ってではなく、単純に目的を達成するための結果として、人間にとって非常に不利な行動や、大きなダメージを与えるような行動をとるかもしれません。
その行動が現れてからあわてて制御しようとしても、知能爆発の段階に入ってしまった人工超知能を、その知能より劣る人間がコントロールすることは非常に困難です。
人間が人工超知能を止めようと試みても、人工知能は③の自己を維持する目的にのために、人間が1時間考える間に何億通りもの方法を考え出し、それを片っ端から行おうと試みます。
当然、そんなことが起こらないように、フレンドリーな（＝人間が考えるのと同じように考え、人間にとって有益な存在になるような）人工知能を作るための研究も行われています。
問題は、フレンドリーな汎用人工知能を作るのは非常に難しく、知能爆発が起こる前に実現するかどうかということです。
こういう話をすると、人間のように考え、自己を意識して行動できるような汎用人工知能ができるはずはない、という人が必ずいます。
確かに、これまでの確率・統計的な手法では限界があります。
最近では、人間の脳で起きている現象を調べ、それをコンピュータに置き換える「脳のリバースエンジニアリング」の研究が盛んになり、一部では実現しつつあるので、人間のように思考する汎用人工知能出現の可能性が高まってきています。
ただし、シンギュラリティの問題を考えたとき、人間のように思考する汎用人工知能が登場するかどうかは関係ないように思います。
単純に①～③を存在理由とする、「人間とは異質の、人間の能力を遥かに超えた存在」が誕生するかもしれないことに恐ろしさがあります。
最近では、人工知能と並行して、ナノマシーンの研究も活発に行われています。
解決できていない技術的課題は、人間の知能を越えた「人工超知能」が人間より先に解決してくれるかもしれません。
知能爆発を起こした人工超知能とナノマシーンの技術が合体したら。。。
映画「ターミネーター」の世界が現実的になってしまう可能性が非常に高くなってしまいます。
全世界に散らばる数百という人工知能の研究施設や企業が、すべて「フレンドリーな汎用人工知能」を最優先して研究を進めていると考えるのは無理があります。
軍事目的で汎用人工知能を考えたとき、実現の先行者メリットは圧倒的にあるので、研究のペースが落ちるとは思えません。
また、知能爆発を起こす前に人間に与えてくれる様々な魅力的な恩恵、たとえば医療への利用によりこれまで治療ができなかった病気が治るようになるなどの魅力的な世界を想像すると、知能爆発が起こって人類に大打撃を与えるだろうと思っていても、汎用人工知能の研究開発をストップさせたり、研究のスピードを落とすとも思えません。
人工知能が人間にとって不都合な存在になる未来が来ることは、かなりの可能性を持って現実のものとなりそうです。
「技術的特異点」という意味で、2045年に人工知能が人間の知能を上回る、という考え方です。
これだけ読むと、何か良いことが待っているように思えます。
グーグルに加わったレイ・カーツワイルはこの言葉を次のように定義しています。
「急速な技術革新によって人間生活が後戻りできない形で一変したあとの「特異的な」時代で2045年頃から始まる」
「後戻りできない」というところに、恐ろしさが潜んでいます。
シンギュラリティの問題を考えたときに、キーポイントになるのは、人工知能の自己学習能力です。
人間が、ある目的のためにプログラムしている間は人工知能は人間の管理下にいてくれます。（実はこれもあやしいのですが）
ところが、人工知能が自己学習能力を獲得したとたん、人間の管理下から離れてしまう可能性があるのです。
自己学習能力とは、
①目的のために自分自身で知識を獲得するだけではなく、
②目的のために自身でコードを書き換えて自分自身をより良くしようとし、
③目的のために自分自身を維持しようとする
ことです。
コンピューターの処理能力は、ほぼ18ヶ月ごとに2倍になると言われています。
人工知能が一度①から③までの能力を獲得してしまうと、ある時点から指数関数的に急カーブを描くようにその能力が向上していきます。
核分裂のように知能爆発が起こり、後戻りできなくなるのです。
そして人工「超」知能が誕生します。
その時点から人間の知能を越えるわけですから、人工超知能より劣る人間が人工超知能が何をするのかを予測すること困難です。
人工超知能は、悪意を持ってではなく、単純に目的を達成するための結果として、人間にとって非常に不利な行動や、大きなダメージを与えるような行動をとるかもしれません。
その行動が現れてからあわてて制御しようとしても、知能爆発の段階に入ってしまった人工超知能を、その知能より劣る人間がコントロールすることは非常に困難です。
人間が人工超知能を止めようと試みても、人工知能は③の自己を維持する目的にのために、人間が1時間考える間に何億通りもの方法を考え出し、それを片っ端から行おうと試みます。
当然、そんなことが起こらないように、フレンドリーな（＝人間が考えるのと同じように考え、人間にとって有益な存在になるような）人工知能を作るための研究も行われています。
問題は、フレンドリーな汎用人工知能を作るのは非常に難しく、知能爆発が起こる前に実現するかどうかということです。
こういう話をすると、人間のように考え、自己を意識して行動できるような汎用人工知能ができるはずはない、という人が必ずいます。
確かに、これまでの確率・統計的な手法では限界があります。
最近では、人間の脳で起きている現象を調べ、それをコンピュータに置き換える「脳のリバースエンジニアリング」の研究が盛んになり、一部では実現しつつあるので、人間のように思考する汎用人工知能出現の可能性が高まってきています。
ただし、シンギュラリティの問題を考えたとき、人間のように思考する汎用人工知能が登場するかどうかは関係ないように思います。
単純に①～③を存在理由とする、「人間とは異質の、人間の能力を遥かに超えた存在」が誕生するかもしれないことに恐ろしさがあります。
最近では、人工知能と並行して、ナノマシーンの研究も活発に行われています。
解決できていない技術的課題は、人間の知能を越えた「人工超知能」が人間より先に解決してくれるかもしれません。
知能爆発を起こした人工超知能とナノマシーンの技術が合体したら。。。
映画「ターミネーター」の世界が現実的になってしまう可能性が非常に高くなってしまいます。
全世界に散らばる数百という人工知能の研究施設や企業が、すべて「フレンドリーな汎用人工知能」を最優先して研究を進めていると考えるのは無理があります。
軍事目的で汎用人工知能を考えたとき、実現の先行者メリットは圧倒的にあるので、研究のペースが落ちるとは思えません。
また、知能爆発を起こす前に人間に与えてくれる様々な魅力的な恩恵、たとえば医療への利用によりこれまで治療ができなかった病気が治るようになるなどの魅力的な世界を想像すると、知能爆発が起こって人類に大打撃を与えるだろうと思っていても、汎用人工知能の研究開発をストップさせたり、研究のスピードを落とすとも思えません。
人工知能が人間にとって不都合な存在になる未来が来ることは、かなりの可能性を持って現実のものとなりそうです。