noteで、こちらの記事を知りました。
RTX3090でLLMを動かしている様子を読み、私もText-generation-webuiを導入してLLMを使って見たいと思いました。
でも、私は、ノートパソコンでGeForce RTX3060 laptopの６GBのグラフィックボードなので、残念な状態です。
BingのAIに、RTX3090などを中古で購入した場合の予算を質問してみました。
BingのAIは、RTX3090は需要が高いので、中古でも新品とあまり変わらない価格で取引されていると回答しました。
そのためBTOを含めて、新品のパソコンを探すのが良いかなと思っています。
こちらの記事も、参考になると思います。
VRAMが24GBあるグラフィックボードならLLMだけでなく、動画編集や３DCGを扱うときも楽にこなすと思います。
またstable diffusion automatic1111を使うときも、VRAMが12GB以上あると、AIが生成した画像からプロンプトを解析してくれる機能を使うこともできます。
RTX3090やRTX4090などのVRAM24GBあるグラフィックボードを搭載したパソコンなら、LLMをローカル環境で試すこともできるようです。
こちらは、私が今の環境で、試した結果です。
