先ほど、こちらの記事を知りました。
GPU非搭載ノートPCでもコマンド不要で各種言語モデルの性能を試せる実行環境「LM Studio」レビュー https://t.co/sUD2WShOw8
— エンジニアM168 (@masaru21) December 2, 2023
LM Studioというソフトを使うと、GPUが無くてもLM Studioに書かれている最低スペックを満たしていたら、LLMをローカル環境で試すことができます。
早速、試してみました。
私がXで紹介した記事に書かれている通りに、インストールしました。
私は、Windows11で、LMStudioをインストールしました。
チャットを選択したときに、この説明の画面が表示されました。
記事の通り私も、ELYZA-japanese-Llama-2-7b-instructというLLMを使いました。
設定の仕方で、回答の仕方も変わります。
設定は、ここで変えられます。
このように、選択肢があります。
先の画像のように、LLMをダウンロードして保存するフォルダを変更できるようです。
外付けSSDを使うことも、出来そうです。
ファイルをアップロードしたり、ネットで検索することはできないのですが、LLMを試すときに使うと便利だと思いました。
このLM Studioは、画像生成AIのLLMではなく、文章を生成するLLMを使うものです。
参考記事
