価格が¥４K前後だった画面が15.6インチの謎PCで、
ネットに繋がない用途を考えていたら、
ローカルでLLM環境作ってもいいかな、と思ってやってみた話です。
スペックは
CPU：N95（コア４、スレ４、クロック3.4GHz）
メモリ：16GB
ストレージ：SSD1TB
画面解像度：1920x1080
初期状態でwindows11がロシア語の環境だったやつ。
windowsのライセンス認証も出来なくて、lubuntuをクリーンインストールした状態。
これだけのスペックなので、
低スペ環境でも動作する画像生成AIでもよかったが、作った画像を取り出すとかもしたくないので、
スタンドアロンで完結した環境で、しかもゲームしない、
って考えていたら、画像生成AIではなくチャットの方で良いのでは？と思って、
Ollamaを入れてみた。
コマンドラインから、
curl -fsSL https://ollama.com/install.sh | sh
ってやったらインストールできたようです。
「curl」は以前入れたのか、既に入っていたが、無かったら
sudo apt update
sudo apt install curl
とかやればいいと思う。
起動は
ollama run llama3
って感じでモデル名を指定するが、このとき指定したモデルを最初に使うときだけダウンロードが始まる。
だいたい２GB〜５GB程度で、ダウンロードには400Mbpsくらいの環境なら数分かな。
いくつかのモデルを試してみて、それぞれ
「この学習モデルはいつ頃の情報で、どんなチャットが得意か？」って
聞いてみて、どんな質問をどのモデルにするか使い分けようと思う。
最新情報が更新されない前提なので、例えば、エンタメ系はどれも得意ではなさそう。
例えばジブリ映画の情報があるか？を聞いてみると、
微妙に間違ったタイトルを出してきたり、
ちゃんと「宮崎駿」というキーワードが出てきても、
どう見ても、それディズニーの話なのでは？みたいなのもあったり、
ちょっと面白い。
それでも、映画のあらすじを説明して、気になったシーンを書いて、これはどういうことなのか？
みたいなことを聞くと、とりあえず納得感のある解釈をしてくれる。
例えば、経済政策の意図や何をやるとどういう効果が期待できるか、とか、
歴史や哲学とかの話なら、まともに見えるし（自分が知らないので判断できないだけだと思うが）
空想した出来事の続きを考えてもらうとか、最新情報が不要なチャットなら良さそう。
回答にはだいたい数秒程度〜１０秒程度、長いと数十秒かかった。
回答生成中でほぼCPUが１００％使われている状態でメモリは６GB使っているらしい。（使っているモデルにもよると思うが）
ネットでチャットGPTとかgeminiとかの無料版の方が情報は新しいだろうし
レスポンスもいいだろうから、こんなことする意味はあんまりないが、
それでも、ユーザ登録しないとか、質問内容から情報が漏洩しないかとか気になる場合は有効だろう。
今回は￥４KでLLMをローカルに入れたPC環境が出来た、ということでした。