AIの「長期記憶」実現なるか Google研究チームが論文 - 日本経済新聞
「AIの「長期記憶」実現なるか Google研究チームが論文」（日本経済新聞）がちょっと面白い。
「人工知能（AI）モデルの「長期記憶」がにわかに注目を集めている。これまで大規模言語モデル（LLM）が一度に処理できるトークン（テキストの最小単位）量を表す「コンテキストウインドー」には限界があり、プロンプト（指示文）で入力された情報を長らくとどめておけなかった。この弱点を克服できればLLMの用途は一気に拡大する。」
「クリスタル・インテリジェンスは、企業が抱える情報システムのソースコードやデータを学習し、自律的に業務を代行する。この構想の実現を左右するのが長期記憶というわけだ。オープンAIのサム・アルトマン最高経営責任者（CEO）も「今後、AIモデルにおいて長期記憶が重要になっていく」と期待を込めた。
長期記憶の技術開発を巡っては24年末、注目すべき動きがあった。米グーグルの研究チームが発表した論文「Titans: Learning to Memorize at Test Time」だ。Titansはいかにして長期記憶を実現しようとしているのか。詳しく読み解こう。」
「専門家はTitansをどう見ているのだろうか。
論文分析ツール「ScholarPlanets」を手掛けるスキルアップNeXt（東京）の小縣信也取締役最高技術責任者（CTO）は「線形再帰モデルの技術が発展してきた印象だ」と話す。Titansの引用論文を分析してもらったところ、「線形再帰モデル」や記憶モジュールをネットワークから明示的に切り離す「永続的メモリー」、「QKV（Query Key Value）モデルの計算の高速化」、「テストフェーズにおける学習」の大きく4つの流れをくんでいる。」
「安岡教授が課題として挙げるのが、新しい単語が入力されたときにその意味を理解する能力だ。「人間の記憶には、抽象的な文章を聞いたときに単語へ落とし込む能力が備わっている。（Titansは）ほど遠い」（安岡教授）印象を受けるという。「（抽象的な）文章を単語化する機構がないとうまくいかないだろう」と安岡教授は予想する。」
MAC方式での長期記憶の仕組み（出所:論文「Titans: Learning to Memorize at Test Time」を基に日経クロステック作成）
小松 仁