技術的特異点(2045年問題)Ⅵ2075千兆倍脳プレ
人工知能研究者からの批判
「モラベックのパラドックス」も参照
弱いAIに関する研究結果が、強いAI(汎用人工知能)にそのまま適用可能であるか否かについては議論がある。
哲学者のヒューバート・ドレイファス[29]や物理学者のロジャー・ペンローズのように、現行の人工知能研究には根本的な欠陥があり、既存の手法を踏襲することによっては強いAIは実現不可能であると考える学者も存在している[30]。
また、認知科学者であるスティーブン・ピンカーは、人工知能やロボットは人工物であるため、生物が進化によって得た本能 --たとえば、闘争本能、繁殖への欲望、支配欲などの本能を持たず、従って人間よりも賢い人工知能が仮に実現したとしても、それが自己複製と自己改善を繰り返して自動的に超越的知性に至ると考えることは誤りであると指摘している。(もちろん、自己複製と自己改善を人工知能にプログラムすることはできるが、人工知能が創造した人工知能にそれが受け継がれる保証はない)
生物学からの批判
カーツワイルは、生物学的な脳機能を理解していないという批判がある。彼は、人間の脳がシミュレーション可能になる時期を人間のゲノムの数から見積っている。しかし、生物のゲノムは半導体のトランジスターと同等と見なすことはできず、脳の構造や成長を無視していると、生物学者のポール・ザカリー・マイヤーズは批判している[31]。
肯定論からの批判
特異点が実現されうる、または不可避であると考える人のなかでも、特異点後に発生する事象が人間に対して危険であると考えて、その実現のための活動を批判するものも居る。 多くの特異点論者はナノテクノロジーが人間性に対する最も大きな危険のひとつであると考えている。このため、彼らは人工知能をナノテクノロジーよりも先行させるべきだとする。Foresight Institute などは分子ナノテクノロジーを擁護し、ナノテクノロジーは特異点以前に安全で制御可能となるし、有益な特異点をもたらすのに役立つと主張している。
友好的人工知能の支持者は、特異点が潜在的に極めて危険であることを認め、人間に対して好意的なAIを設計することでそのリスクを排除しようと考えている。アイザック・アシモフのロボット工学三原則は、人工知能搭載ロボットが人間を傷つけることを抑止しようという意図によるものである。ただし、アシモフの小説では、この法則の抜け穴を扱うことが多い。
危険性
考えられうる超人間的知性の中には、人類の生存や繁栄と共存できない目的をもつものもあるかもしれないと考えられている。例えば、知性の発達とともに人間にはない感覚、感情、感性が生まれる可能性がある。AI研究者ヒューゴ・デ・ガリスは、AIが人類を排除しようとし、人類はそれを止めるだけの力を持たないかもしれないと言う。他によく言われる危険性は、分子ナノテクノロジーや遺伝子工学に関するものである。これらの脅威は特異点支持者と批判者の両方にとって重要な問題である。ビル・ジョイはWIREDで、その問題をテーマとして Why the future does't need us(何故未来は我々を必要としないのか)を書いた(2000年)。オックスフォード大学の哲学者ニック・ボストロムは人類の生存に対する特異点の脅威についての論文 Existential Risks(存在のリスク)をまとめた(2002年)。ボストロムは、『Superintelligence: Paths, Dangers, Strategies(超知能:道筋、危険、戦略)』の著者でもある。
スティーブン・ホーキング(宇宙物理学)は、人類の能力を超える人工知能が人類を滅ぼしかねない危険性があり、生物学的進化に制約される人類が人工知能の発達に対抗することは困難だと考えており、国連代表部と国際連合地域間犯罪司法研究所が主催した会議でも懸念を表明した。この国連の会議では、ニック・ボストロムも、特に人間の能力をはるかに超える人工知能を制御する方法は未解決であり、解決のための研究の必要性を訴えている。
ホーキングは、2015年5月12日にロンドンで開催されたツァイトガイスト2015でも、人工知能が「100年以内に人間の文明を終わらせる」可能性を指摘した。ホーキングはまた、2014年でも、マックス・テグマーク(物理学)、フランク・ウィルチェック(ノーベル物理学賞)、スチュワート・ラッセルらとともに、人工知能に関する理解が一般に浸透していない問題を指摘した。
ハーバード・ロー・スクールとヒューマン・ライツ・ウォッチは、完全な自律兵器の開発・運用を国際的に禁止するべきだと2015年4月の報告書で要求した。