加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 – WirelessWire News
「加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実」（WirelessWire News）がちょっと面白い。
清水 亮（しみず・りょう）
新潟県長岡市生まれ。1990年代よりプログラマーとしてゲーム業界、モバイル業界などで数社の立ち上げに関わる。現在も現役のプログラマーとして日夜AI開発に情熱を捧げている。
「世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。
いくつかの興味深い事象が起きているからだ。」
「昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function Callingという、LLMが必要に応じて足りない知識や計算を補うために外部に対して情報収集命令を発行して能動的に情報を集めるといった機能が搭載されている。」
「ソフトバンクイントゥイションも先日65B規模のオープンソースLLMを発表したが、これと比べても今回の「KARAKURI LM 8x7B Instruct v0.1」は頭ひとつか二つ飛び抜けている。
特筆すべきことは、Karakuriの日本語最高性能を誇るLLMの開発にかかった計算費が、たったの75万円だと公表されていることである。750万円の間違いかもしれない(実際、1月に発表した70Bモデルは1000万程度という話だった)が、それにしても圧倒的な低コストだ。NVIDIAのGPU、H100は今500万円以上する。」
「ではどうしてKarakuriはこんな低予算で日本語最高性能のエージェントLLMを作ることができたのか。それはNVIDIAのGPUを使っていないからだ。
Karakuriが使用するのはAmazonが開発したAI学習専用チップ Trainium(トレイニウム)である。
おそろしくマイナーなチップで知る人は少ないが、Trainium用の学習ソフトウェアパッケージはAmazonが公開しており、Karakuri社のブログでも詳細に「LLMの作り方のレシピ」が公開されている。」
「いまLLMを作れという命令が世界中の企業で発令されているだろうが、それには大量のNVIDIAのGPUが絶対に必要であるというのが常識だった。
NVIDIAは独占企業であり、ついに時価総額世界一になった。しかし今この瞬間が彼らの栄華の頂点かもしれない。」
「さらにAmazonは、推論専用チップとしてInferentia2を開発しており、実際、Karakuri社のデモサイトで誰でもこのLLMとAmazonのInferentia2チップの性能を体験することができる。控えめに言ってGPT-4oと遜色ないスピードで結果が出てくるし、それなりに賢い。」
「さらに驚くべきことに、二週間ほど前に発表された「Mixture-of-Agents(エージェントの合成)」という論文がある。
この論文では、すでに公開されているオープンLLMを8つ組み合わせて使うだけで、GPT-4o単体の性能を上回るベンチマーク結果となったと主張している。」
小松 仁