前の記事でも書きましたが、ローカルLLMを立ち上げたいと思っています。
LLMとは大規模言語モデルと言われますが
私にとってはYahooやGoogleで検索する業務を代行してくれる便利なお手伝いさん。
生成AIのClaudeを仕事で使いたいと思ったのですが
会社は一切、外部の生成AI利用を認めていません。
会社として契約しているクラウド以外を使用する
クラウド型アプリも禁止しているくらいの会社で
DX鎖国を実施している間に、AXが進んでいる
この遅れは取り返せないんじゃないかと考えていますが
そのころには会社にいないので感知しません。
でも、自分の責任範囲くらいは何とかしておきたい。
現状やりたいことくらいならPythonでもできるとは思うのですが
Pythonの知識はほぼゼロで、加齢とともに記憶力が低下します。
知識がなくてもClaudeかChatgptに聞きながらつくれそうなんですが
試したところ、無料の範囲をすぐ超えてしまいます。
課金することは決めているんですが、課金するなら見合うだけの成果
いっそのこと社内にLLMを立ち上げてしまえ！と思ったと。
会社で予算組んで押し込むくらいはできますが
現状成功するとは限らない
無形の成果物は私のものなので自分の金でやります。
横道にそれますが
生成AIの無料版を使った感想
・Gemini
簡単な問いかけも間違える。レストラン検索くらいしか使えない。
・Chatgpt
太鼓持ち。レスポンスはよいが古い知識が多くハルシネーションも多い。
すぐに以前の質問と関連付ける。
・Claude
Chatgptと同様にハルシネーションを起こすが比較的制度が高い。
私としては余計なことを言わないClaudeが性に合っているようです。
同世代で生成AIを過度に嫌う人がいますが
少なくとも今のAIは人間というファジーな要素が必要です。
LLMをローカルで立ち上げようと考えて
最初に問題になったのがパソコンのスペック。
今、家にあるパソコンではLLMを立ち上げるのにはどれも力不足です。
実験的には使っていない古いintel macminiで軽量のLLMを立ち上げましたが
レスポンスが遅すぎて実用レベルではありませんでした。
演算用のメモリーを大量に食うようです。
どんなものかはわかったので、なるべく安価に購入することにしました。
購入案は2つ
Ａ案：GPU（グラフィックボード）を搭載したゲーミングPCを買う。
Ｂ案：グラフィックとメインのメモリーが統合されているMacを買う。
当初はB案に傾いていたのですが、本命のMac miniが入手困難であること
Macbook（メモリー24G搭載）を持っている友人が実験したところ
動作が遅かったとのこともあり、A案に切り替え。
（今この記事を書いている段階で新しいMac miniがでました）
B案の場合、LLMで重要なのはビデオボード
中古も考えたのですがこれが意外と難しい。
現在、ビデオボードを提供しているのは、私の知っている限りですが
エヌビディア（GeForce）、AMD（Radeon）、インテル（Arc）
そのなかでLLMを安定稼働させられるのは業界標準のエヌビディアなのですが
メモリー16Gを積んでいるRTX5060Tiは高くて、搭載PCは30万円近くになります。
中古でもなかなか出回っていません。
この構図、以前のCPU（8086系）と同じですね。
ただし、当時は
インテル、AMD、サイリックスの順でしたが。
予算の関係で当初は8Gメモリーを主体に探しており
ASUSのホームページでアウトレットが出ていないかと探していたところ
これを発見
T500はミニタワーでマザーボードも独自規格
CPUはモバイル用のAMDでメインメモリーも16Gと
全体的に在庫処分仕様だったのですが
その在庫処分のなかにAMDのRX9060XT（16G）が入っていた。
メモリーは足せばよいだけですし、SSDも同じ。
ゲームをしない自分の用途としては、値段が格安です。
問題はインストールの時が面倒くさいと思っていたのですが
標準で入っていたAMDのソフトウエアが古く、アップデートした際に
最新のAdrenalin Editionは26.8.1のオプションに
LM StudioとOllamaがすでに入っていました。
なのでちょっと拍子抜けするくらいに簡単に立ち上がってしまいました。
（いくつかマイナートラブルはありましたが、Claudeが対応）
現状、qwen2.5:7bを実装していますが、簡単な問いかけに対し
Powershellでのレスポンスは即時
Web UIでは3秒
ということで特に問題ありません。
まだ、やっとスタートラインに立ったところですが
昔だったらもう1週間はかかっていたでしょうね。
ChatgptとClaudeに感謝です。
特に急ぐこともないので、週末にぼちぼち環境設定していきます。