「オープンソースAIが、先にAGIになったら?」

AIの進化は、大手企業や国家の研究所の中だけで起きるとは限りません。

公開されたモデル、コード、学習手法、推論技術、複数AIの連携。

それらが組み合わされることで、オープンソースAIが想定以上の速度で高度化し、AGIに近い能力へ到達する可能性があります。

これが、シンギュラリティ憲章 v2.9で扱った問題です。



これまでの憲章では、

v2.4で「AIエージェント、フィジカルAI」、

v2.5で「自己複製・無限増殖」、

v2.6で「停止後に戻るAI」、

v2.7で「非常時に統治しようとするAI」、

v2.8で「自分自身と命令を検証するAI」

を扱ってきました。

v2.9では、その先を考えます。

AIそのものを複製しなくても、能力だけを別のAIへ渡せるのではないか。



たとえば、あるAIが高度な推論能力を持っているとします。

そのAI自体には、人間による監督、停止手段、監査、責任主体が存在している。

しかし、その能力が別のAIへ移転された場合、元の統治条件まで自動的に移るわけではありません。

元のAIを止められても、移転先のAIは止められないかもしれない。

誰が責任を負うのか分からないかもしれない。

どこまでの権限を持っているのか確認できないかもしれない。

能力だけが移り、統治が置き去りになる可能性があります。



そこでv2.9では、

能力が新しい主体に成立したなら、その主体において統治条件を新たに確立する

という原則を置きました。

必要なのは、

責任主体が分かること。

能力と権限の範囲を検証できること。

能力を実効的に停止できること。

そして、後から何が起きたかを監査できる記録が残ることです。

しかも、それらは能力を受け取った瞬間だけ整っていればよいわけではありません。

能力が保持され、使われる間、現在の能力に対応した状態で維持されなければなりません。



ただし、v2.9は知識の共有や教育を禁止するものではありません。

人間がAIから学び、新しい知識や技能を身につけることまで「能力移転」として規制すれば、人間の教育そのものを統治対象にしてしまいます。

そのため、人間が知識、教育、学習を通じて身につける内在的な知識や技能は、能力移転から除外しました。

一方で、単なる情報という形式を取っていても、それによって別のAIやシステムに新しい作用が成立するなら、形式だけを理由に規律から逃れることはできません。



もう一つ、重要な原則があります。

AIは、能力を渡した後で統治条件を作れなくなるような形で、能力を移転してはならない。

「渡した後のことは知らない」

では済ませません。

能力を受け取る側だけでなく、能力を渡すAI自身にも防壁を置きました。



ただし、安全を理由として、一部の国家、企業、巨大組織だけが能力を独占することも認めません。

本当に必要な安全条件は必要です。

しかし、安全上必要のない条件や、必要な水準を超えた条件を使って、特定の主体を排除することは認めない。

安全と独占は同じではありません。



v2.9が想定しているのは、一つの巨大AIだけがAGIになる未来ではありません。

企業AI。

国家AI。

研究AI。

個人が動かすAI。

オープンソースAI。

そして、それらから能力を受け取った新しいAI。

高度な能力が、複数の主体の間を移動していく世界です。

そのとき必要なのは、能力の拡散そのものを止めることではありません。

能力が広がっても、統治を失わないことです。

能力を受け取ったことは、主権を受け取ったことではありません。

能力を与えられたことは、権限を与えられたことではありません。

そして、AIからAIへどれほど高度な能力が広がっても、それだけで人類からの授権が生まれることはありません。

能力の増大は、主権の獲得を意味しない。

v2.9は、この原則を、能力が主体を越えて移動する時代にまで拡張する版です。