Meta社のAI「Llma3.1」
こんにちは！
今日はLlma3.1について紹介します
Llma3.1はMeta社が開発した
大規模言語モデルです
Meta社はFacebookなどを
運営する
マークザッカーバーグの会社です
前回はAIニュースを
紹介しているので
ぜひぜひぜひぜひ
見てください
①Llama3.1三つのモデル
Llama3.1は三つのモデルがあます
405B,70B,8B
これはパラメータ数です
405B=4,050億パラメータ
70B=7,00億パラメータ
8B=80億パラメータ
という感じで、
405B=4,050億パラメータが
最高の性能となっています
(パラメータを簡単に解説すると
何かを決めたり
変えたりする重要な要素です！)
Llama3では
70Bと8Bの２つでしたが
Llama3.1になって
405Bが追加されました！
その405B
がめちゃくちゃすごいと
話題になりました
パラメータ数が4,050なので
かなりサイズが大きい感じです
最近流行りの
小規模言語モデルではないです
GPT-3.5、ChatGPTが
リリースされた当初
GPT-3.5が3,550億パラメータ
と言われています
なのでGPT-3.5より
ちょっと大きいぐらいです
サイズ感としては大きめですが、
性能もその分上がっています！
もちろん70Bと8Bも
Llama3.1になってそれぞ
パワーアップしています！
②Llama3.1の特徴
まず一つ目が
・GPT-4oやClaude3.5 Sonnetと同等
GPT-4oや
Claude3.5 Sonnetに
勝るとも劣らないほどの高性能です
さらに
AIが出した回答を
人間が評価するテストがあるんですけど
それでGPT-4oと
Claude3.5Sonneteとほぼ
互角の性能を叩き出しています！
・入力トークン数が12万8,000
入力トークン数が
12万8,000です(128Ｋ)
日本語にすると
10万文字ぐらい入力できます
他の言語モデルと比べると
ちょっと少ないぐらいです
ちなみにChatGPTが
登場した当初のトークン数は
4000トークンぐらいです
それが今GPT-4oになって
12万8,000トークンになっています
Llama3.1も入力トークン数も
非常に増えてきています
基本的に出力が長くなると
回答の質は落ちます
これはどの言語モデルも同じですが
Llama3.1はあまり
落ちないらしいです
・８つの言語に対応している
なんと
日本語は含まれていません
対応言語英語、ドイツ語、フランス語
イタリア語、ポルトガル語、
ヒンディー語、スペイン語、
タイ語
このように
日本語は含まれていませんが
日本語で入力しても
回答を日本語でしてくれます
日本語で全く
学習していないわけではないですが
調整などが終わってないということです
・オープンソース
これがLlama3.1の最大の特徴です
オープンソースが何かというと
設計図が全て公開されている
ということです
なのでLlama3.1が
ネット上に落ちています
GPT-4oやClaude3.5 Sonnetは
いくら探しても
ネット上に落ちていません
OpenAIやAnthropic
開発企業のサーバーの中にはありますが
外には落ちていません
Llama3.1は普通に落ちています
なので誰でも
ダウンロードして使ったり
Llama3.1を改良して新しい
言語モデルを作ったり
商品・サービスを作ったりできます
例えば
ある一つの分野に特化して
学習さして
その分野専門チャットボットを
作ったりもできます
・外部ツールとの連携がしやすい
例えばLlama3.1を使って
アプリを開発するなど
そういうところで
これから使われていくと思いますます
そこで
違反コンテンツの検出や
悪意のある
プロンプトからの保護など
安全機能がついています
・オープンソースのメリット
オープンソースなので
Meta社にデータを
抜き取られる心配がありません
ChatGPTでは入力したデータが
AIの学習に利用されたりします
なぜかというと
処理されているのが
自分のパソコンではなく
一回OpenAIのサーバーに
データが送信されて
そこでAIが動いて
処理された結果が
こっちに戻ってくる
という感じです
それがChatGPTの
画面に表示されます
その点、Llama3.1のような
オープンソースだと
機密情報も別サーバーに
送信されることがなくて
自分のパソコンで
処理させることができるので
その辺は安心です！！！！！
そもそも
1番性能が高いのが
4,050億パラメータのものですが
サイズが大きすぎて
それをパソコンに落として
動かせれるかと言ったら
動かせないと思います
なので
自分のパソコンでしたいのであれば
小規模言語モデルなどを
お勧めします
・テクノロジーの独占を防ぐ
・技術が発展しやすくなる
テクノロジーの独占を防げます
オープンソースにすることは
誰でもダウンロードできる状態です
なので全人類に
技術を配布するということです
AIの技術はまだまだ発展途上で
進化しているところなので
社会全体のために
利用すべきという意見が多いです
オープンソースにすることで
AI技術の公平性や
透明性につながるので
オープンソースは
社会全体の発展には
メリットがあると
思います
今回オープンソース言語モデルとして
Llama3.1が出てきましたが、
それがGPT-4oなどに性能で
並んだと言うことで
これがすごいところです
今までの
オープンソースの言語モデルは
クローズドの言語モデルで、
GPT-4o、Claude3.5 Sonnet、
Geminiとかに比べて
性能がかかなり劣っていました
初期のLlamaは
日本語だと
会話が成立しない
ぐらいだったんですが
でも今はオープンソースでも
かなり進化をしてきているので
Llama3.1は
GPT-4oやClaude3.5 Sonnetに
同等の性能を持っているらしいです
実際に使ってみた感想
文章的にもしっかりしているし
全然実用に耐えれる
レベルだと思います
今のLlama3.1は
405Bもですが、
70Bもちゃんとした
文章が出るので
全然実際のサービスでも
使えるレベルだと思いました
自分の考え
オープンソースなので
自分風に変えてる
ことができま
なので
AIを使っていて
不便だと思ってたところ
などを修正できるので
オープンソースは
とてもいいと思いました
終わり
今日はこれで終わりです
ありがとうございました！