「人間の知能を遥かに上回るAIをどう制御するか、OpenAIは“スーパーアラインメント”の研究を開始し最初の成果を発表」（Emerging Technology Review）がちょっと面白い。
「人間の知能を遥かに上回るAIは「スーパーインテリジェンス(Superintelligence)」と呼ばれ、社会に多大な恩恵をもたらすとともに、人類存続の脅威になると考えられている。OpenAIは、10年以内にスーパーインテリジェンスが開発されると予測しており、その安全性を研究する専任部門を設立し、制御技法の研究を進めている。4年計画のプロジェクトで、その最初の成果を発表した。」
「スーパーインテリジェンスは一般に、「Artificial Superintelligence (ASI)」と呼ばれ、人間の知能を遥かに上回るAIと理解される。厳密な定義は無いが、知的能力が高く、幅広い分野で難解な問題を解決すると期待されている。例えば、地球温暖化問題やがんなどの難病の治療法などで解法が期待されている。一方、スーパーインテリジェンスは人間の制御を逃れ、人類の弱体化や滅亡に繋がると強く危惧されている。」
「スーパーインテリジェンスを安全に制御する技法は「スーパーアラインメント(Superalignment)」と呼ばれ、AIを人間の価値観に沿うように改良する技法となる。現行の生成AIを安全に運用する技術は「アラインメント(Alignment)」と呼ばれるが、これを拡張したコンセプトとなる。」
小松 仁