「MIT Tech Review: グーグルが早くも「Gemini 1.5」、最大100万トークン」がちょっと面白い。
「グーグルが次世代AIモデルの最新版「ジェミニ（Gemini）1.5」を発表した。昨年12月のリリースから早くもアップデートされた新版では、最大100万トークンに対応する。」
「グーグルが公開した100万トークンのバージョンを使用したデモ動画では、研究チームがAIモデルにアポロ月面着陸ミッションの402ページの記録を与えた。次に、ジェミニにブーツの手描きのスケッチを見せ、その絵が表している瞬間を、（与えられたアポロ計画の）記録の中で特定するように求めた。
そして「これは、ニール・アームストロングが月面に着陸した瞬間です」とジェミニは正しく返答した。さらに「これは1人の人間にとっては小さな一歩だが、人類にとっては大きな飛躍です」とまで付け加えたのだ。」
「グーグルによれば、より大量の入力を処理できるようになったのは、いわゆる「混合エキスパート（mixture-of-experts）」アーキテクチャの進歩の結果であるいう。この設計を採用したAIは、ニューラル・ネットワークをいくつかのチャンクに分割し、ネットワーク全体を一度に起動するのではなく、当面のタスクに関連する部分のみを起動する（混合エキスパート・アーキテクチャを使用しているのはグーグルだけではない。フランスのAI企業の「ミストラル（Mistral）」もこれを使用したモデルをリリースしており、またGPT-4もこの技術を採用していると噂されている）。」
小松 仁
Google DeepMind