急に、MLXという言葉が、ネットで広がってきました。
MLXは、Appleが開発した新しい機械学習フレームワークでM1以降のCPUで使えるようになっています。
Microsoftが商用利用できる小型の言語モデルSMLのPhi-3が登場したことで、急にローカルでAIを使う動きが広がっています。
私もLM Studioで、Phi‐3が利用できることを確認しました。
LM Studioで、アップデートがあります。
— エンジニアM168 (@masaru21) April 26, 2024
MicrosoftのPhi-3が使えるようになったようです。
- `Microsoft's "Phi-3"` (small & fast with impressive capabilities)
- `Meta's "Llama 3"` (incredibly powerful open model)#AI #AI活用 pic.twitter.com/IjBpAsZgBg
LM Studioを利用すると、LLMをダウンロードするためのディスク容量を確認できます。
別の画面で4GBのサイズを確認したので、ダウンロードをしている画面です。
また今回見つけた記事では、iPhoneでPhi‐3を動かす内容です。
【iPhoneで小型AIモデルが快適に利用可能】
— 木内翔大@SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) April 25, 2024
先日Microsoftから発表された「Phi-3」がiPhone上で動作可能に
「MLX Swift」を使用しデバイス上で直接動作するため、非常に高速とのこと
具体的には、256トークンの生成において、秒速17トークンを実現… pic.twitter.com/D8J4PMuk4y
今までは沢山VRAMが必要になるなどしたので、パソコンのレベルでLLMを動かすことは、とても厳しかったです。
MacBook PROでM3MaxのCPUで、RAM96GB、SSDが1TBのスペックならAppleの新しいOpenELMモデルを利用できるようです。
言語モデルのトークン数が小さいものは、私のVRAM6GBでRAMが16GBのノートパソコンでも使えます。
でも賢いLLMやSLMを使おうとすると、パソコンのスペックも高くないと厳しいです。
その中でMicrosoftのPhi-3は、希望が持てるレベルになってきた、手が届く範囲に賢い言語モデルが入ってきた感じがします。
これからの時代は、Windows11などのCudaベースとAppleの言語モデルの両方を使えるようになると、エンジニアとして可能性が広がると思いました。
時代は、既にローカル環境でAIの言語モデルを使う時代に入りました。
パソコンや組み込み機器で、AIが動く時代です。
今、ダウンロードできました。
私のパソコンで、Phi-3が使えることを確認できました。
HTML5のテンプレートを質問してみました。
こちらが、回答の全文です。
入力フォームまで作ってくれたのは、凄いと思いました。
以下は基本的なHTML5フォームテンプレートを提供します。これを日本語で使用するウェブサイトに適したものと、日本語対応に特化したコード例です:
```html
<!DOCTYPE html>
<html lang="ja">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>日本語対応ウェブサイト</title>
<link rel="stylesheet" href="style.css"> <!-- スタイルファイルへのリンク -->
<script src="script.js"></script> <!-- JavaScriptファイルへのリンク -->
</head>
<body dir="ltr">
<header>
<h1>日本語対応ウェブサイト</h1>
</header>
<main>
<form action="/submit_form" method="POST">
<label for="名前">名前 (漢字/ひらがな):</label><br>
<input type="text" id="名前" name="名前" required><br>
<label for="メール">メールアドレス:</label><br>
<input type="email" id="メール" name="メール" required><br>
<label for="状況">状況 (選択):</label><br>
<select id="状況" name="状況">
<option value="健康">健康</option>
<option value="交通事故">交通事故</option>
<!-- 他のオプションを追加 -->
</select><br>
<button type="submit">送信</button>
</form>
</main>
</body>
</html>
```
このテンプレートには、日本語対応の`<label>`タグと`<select>`タブを使用しています。これにより、簡単な日本語入力が可能です。また、HTML5を利用してフォーム要素も直感的かつ効果的に表示させることができます。
ここまでが、回答です。
こちらで、LM Studioをダウンロードできます。
Phi-3はSLM小規模言語モデルなので、用途を限定すると良いようです。
私も、どのように使えるか試したいと思います。
GPT-4などの大規模言語モデルのようにインターネットにアクセスしてクラウドで作業しなくても良いので、コストの削減にも貢献できると思います。
こちらの記事も、参考になると思います。
外付けSSDを利用して、LM Studioを使うと、内蔵SSDの空き容量に不安がある人も気軽に使えると思います。
私は、Windows11を使っていますので、XCODEを利用することができずMLX Swiftを試すことができていないです。
でも今回Phi-3を使うことができたので、希望を持つことができました。
AIを使ったアプリ開発は、クラウドを使いAPI接続の時代から、ローカル環境で言語モデルを使える時代にシフトしています。
そのためGPT-4、CopilotなどChatGPT系の技術ばかりではなく、Claude3やCommand Rなどの新しいLLM大規模言語モデルになれて、さらにローカル環境でSLMを使えるスキルを身に着けることが、時代の最先端を歩むことができるように感じました。
インターネットに接続しなくても、ある程度のことはローカル環境、つまりパソコンに内蔵されたSLM小規模言語モデルを活用して業務を行う時代も比較的早く到来すると思います。
今まで組み込みで使われていたAIは、なんちゃってAIと言われるかもしれないですね。
これからは、単なるAIが使えるだけではなく、SLM内蔵とか書かれていると能力が高い、賢い電子機器という評価になるかもしれません。