大規模言語モデルの優れたパフォーマンスの背後にある理由。

下にある英文のgoogle 翻訳による日本語への訳です。

Reasons behind excellent performance of Large Language Models.


ChatGPT、GPT4、Bard などの大規模言語モデル (LLM) の優れた機能は、人工知能の可能性について楽観的だった人々にとっても困惑するでしょう。

この段階で、人工知能システムがこのレベルの成功を達成したという事実は、AI だけでなく自然言語についても多くを物語っています。

自然言語の編成方法は、生成または受信する語順に関係なく、特定の文法規則と文脈上の制約が満たされている限り、受け入れられます。その特定のドメイン内では、何でも可能です。

したがって、これはおそらくそれがどのように機能するかです。 LLM が Web 上で利用可能なテキスト (人間によって生成されたもの) の統計的パターンを調査すると、プロンプトによって指定された文脈上の制約を満たす単語シーケンスの無限の例を生成でき、文法的には問題ありません。

現在の高度なAIシステムが、適切で良いと思われるテキストを生成できるという事実は、自然言語そのものの性質を垣間見ることができます。この成果は確かに注目に値するものですが、LLM によって研究および活用されてきた文脈上の制約内での自然言語システムの信じられないほどの柔軟性を考えると、それが汎用人工知能の特徴と見なされるかどうかはまだわかりません。

さらに、LLM によって生成された単語シーケンスに見られる複雑性の出現は、生活史の軌跡としての資格があります。人生において、私たちは興味深いことに予測不可能でありながら、特定の制約を満たしながら選択を行い、行動を起こします。選択と行動が予測可能になりすぎると、人生という偉大なゲームで他のプレイヤーに利用されてしまいます。

この観点から、LLM の出力は、生成された語順に関して、人工知能システムによる生活史の展示と見なすことができます。

(茂木健の Street Brain Radio エピソード 28 での議論の要約: 大規模言語モデルの卓越性の背後にある理由)