「Sakana AI」ってなんなん？って質問があったので、ヒントを知りたいのならSakana AIのブログを読んだらイメージしやすいと思います。
答えは下の（感想）に書くよ。
Sakana AI ポスト(X)
Sakana AIの最初の研究成果である、進化的計算による基盤モデル構築に関する論文を公開しました。多様な既存モデルを自動的に融合し優れた基盤モデルを構築するための方法を提案すると共に、それにより試作したモデルを公開しました。
— Sakana AI (@SakanaAILabs) March 21, 2024
ブログ https://t.co/E4Ao87UXXi
論文 https://t.co/YtH7wEQHf1… pic.twitter.com/JcNabJukOt
我々の開発した手法「進化的モデルマージ」は多様な能力を持つ幅広い既存のモデルを融合して新たな基盤モデルを構築するための方法を進化的アルゴリズムを用いて発見する手法です。既存のオープンモデルの膨大な集合知を活用出来るため、モデルを非常に効率的に作成できます。私たちのアプローチは、「非英語言語と数学的推論」「非英語言語と画像」といった、これまでは困難と思われていた全く異なる領域のモデルを融合する方法すらも自動的に発見できることが分かりました。
・論文
うーん、とりあえず説明文(PDF)を読んでみる。
↳ https://arxiv.org/abs/2403.13187
気になるのは「4 Experiments」を読んでおけばok。
・ブログ
↳ https://sakana.ai/evolutionary-model-merge-jp/
3つのモデルを進化的モデルマージ
-
EvoLLM-JP：数学的推論が可能な日本語の大規模言語モデル（LLM）。進化的モデルマージにより日本語数学LLMとして構築したEvoLLM-JPは、数学のみならず、日本語の全般的な能力に長けていることが分かりました。パラメータ数が7Bのモデルですが、驚くべきことに、日本語LLMベンチマークにおいて同サイズのモデルと比較し最高の性能を達成するどころか、70Bパラメータの日本語LLMの性能をも上回りました。私たちが実験的に構築したEvoLLM-JPは、汎用の日本語LLMとしても十分な性能を持っていると考えています。
-
EvoVLM-JP：日本語で対話可能な画像言語モデル（VLM）。進化的モデルマージにより構築した日本語VLMであるEvoVLM-JPは、日本文化に特有の知識にも対応でき、日本の画像と日本語のテキストを利用したベンチマークでも最高の結果を達成しました。
-
EvoSDXL-JP：高速な日本語画像生成モデル。我々の進化的モデルマージは、画像生成拡散モデルにも適用できます。進化的モデルマージにより現在開発している、わずか4ステップの推論で画像が生成できる高速日本語画像生成モデルです。
日本語基盤モデルEvoLLM-JPとEvoVLM-JPをGitHubリポジトリで公開
↳ https://github.com/SakanaAI/evolutionary-model-merge/
・Sakana AI
Sakana AI社は、東京を拠点とするAIスタートアップです。
元Google AIの研究者であるLlion Jones氏とDavid Ha氏によって2023年8月に設立されました。
・「進化的モデルマージ」
Sakana AIが開発した「進化的モデルマージ」
モデルマージとは、「親」となる複数のLLMを組み合わせることで、新たな「子」となるLLMを生み出す手法で、この組み合わせかたを「進化的アルゴリズム」を用いて自動化する。
進化的アルゴリズムとは、生物の進化の仕組みを模倣したアルゴリズムの総称。多様な可能性の中から優れたものを選び出し、それらを組み合わせて次の世代の候補を生成するというプロセスを繰り返すことで、次第に最適な解に近づいていく仕組み。
(感想）
んで、友達からSakana AIは画像生成なのかチャットなの？
答えは、
EvoLLM-JP：数学的推論が可能な日本語の大規模言語モデル
EvoVLM-JP：日本語で対話可能な画像言語モデル（VLM）
EvoSDXL-JP：高速な日本語画像生成モデル。
Qiitaから【ChatGPT有 vs Sakana AI＋DALL-E3で画像解析やってみた。】この記事が面白かったので読んでみてください。
