私はAIアラインメントにおいてグッドハートの法則（ある基準はそれ自体が目的になるといい基準ではない）に注目しているが、人間というものは小林秀雄が言うように何をやらかすかわからなく、それがAIを超えた部分だと思う。破壊もあるが創造もある。
ハチのY字迷路などでのパフォーマンスも、典型的には８割くらいの正答率になるが、２割間違うことで、強化学習におけるexploitationとexplorationのバランスをとっている。これは長い生物の進化の過程で身につけてきた、部分最適からの逸脱の智慧である。
AIによってすでになされたものはもはや人間の知性の本質とはみなされないというAI effectは、ゴールポストを動かす行為ではあるが、そこにこそ人間の本質がある。ある基準を最適化するということではとどまらない振る舞いがあるからこそ生物としてロバストになる。
高度な知性のふるまいは予想できないというVingean uncertaintyにも、より高次の知性の水準で最適化された軌道がわからないという側面と、disruptiveなanimal spiritsの作用が入り混じっている。それを一般に区別することはできない。
ヘルマン・ヘッセの『知と愛』（Narziss und Goldmund )は、以上に述べた知性というものの規範と逸脱という視点から興味深く、AIアラインメントの原理にもつながる問題を扱っているとも言える。
追記。結局、人工知能よりも人間の方が生命としてはるかに大きいということに尽きるんだと思う。