MIT Tech Review: 720億パラメーターでも「GPT-4o超え」、Ai2のオープンモデル (technologyreview.jp)
「MIT Tech Review: 720億パラメーターでも「GPT-4o超え」、Ai2のオープンモデル」 (technologyreview.jp)がちょっと面白い。
メリッサ・ヘイッキラ [Melissa Heikkilä]
米国版 AI担当上級記者
「アレン人工知能研究所（Ai2）がマルチモーダル言語モデル「Molmo」ファミリーをリリースした。質の高いデータと効率的な訓練によって720億パラメーターのモデルでGPT-4oを上回る性能を示したという。」
「一般的に大規模マルチモーダル言語モデルは、インターネットから収集された何十億もの画像やテキスト・サンプルを含む、膨大なデータセットで訓練されている。中には、数兆ものパラメーターを持つモデルもある。このプロセスが訓練データに多くのノイズを取り込み、それによってハルシネーション（幻覚）が引き起こされると、Ai2で研究担当上級部長を務めるアニ・ケンバヴィは話す。対照的に、Ai2のMolmoモデルは、わずか60万枚の画像を含む厳選されたデータセットで訓練されており、パラメーター数も10億〜720億となっている。この、無差別ではない質の高いデータを重視することで、はるかに少ないリソースで優れた性能を実現できたと同上級部長は説明する。」
「ファルハディCEOも同意見だ。AI企業はここ数年、数兆ドルもの巨額の投資を引き寄せてきた。しかし、ここ数カ月で一部の投資家たちは、投資によるリターンを得られるかどうか、懐疑的な考えを表明している。大規模で高価な独自モデルはリターンをもたらさないだろうが、オープンソース・モデルなら可能だとファルハディCEOは主張する。 Ai2の取り組みは、オープンソースAIが資金と時間を効率的に利用する方法で構築可能なことを示していると同CEOは言う。」
Photo Illustration by Sarah Rogers/MITTR | Photos Getty
小松 仁