人工知能のシンギュラリティの定義は、ぼくが理解する限り、チューリングとエニグマの解読をしたＩＪグッドの書いた、自己改変する人工知能が一番本質に近い。
自己改変できるようになれば、もはや人間の手を介する必要はなく、そのような人工知能をつくることが、人類の「最後の発明」（last invention）となる。
そういう人工知能がもしできたら、際限なく改良されるから、当然人間の知性を超えることになるだろう。
つまり、
自己改変する人工知能 ∋ 人類の知性を超える人工知能。
それが２０４５年に来るとかそれよりも早いとか遅いとかいう話は、当たるも八卦当たらぬも八卦で全く意味がない。
ところで、人工知能が人間の知性においつきそうになった時、「アキレスと亀」で、人類が少し先に行けば良いような気もする。
この場合は人工知能はアキレスで、人間が亀である。
もっと、あれはパラドックスで、実際には待ち時間は無限数列でもその和が有限に収束するから、アキレスは亀に追いついてしまう。
でも、必ずしもそうだろうか。
競争が一次元ではなく、文脈が無限に分裂するのならば、追いつかれそうになったら、ちょっと横に飛び退けば、人工知能との衝突は避けられそうだ。
この問題は、ユドコフスキーが最近ツイートしていたように、superintelligenceがもしできたとして、その「効用関数」はなんなんだよ、という話にもつながっていく。
人工知能と人間、アキレスと亀。