AI：ローカルLLM
◆目的
Open WebUIでローカルAIを動作させて、DDGS検索ができない時の対処法。
他の無料検索APIや、有料検索APIを使う方法もある。
それは未確認。
最近は、無料でローカルAIが使える時代。それには高価なGPUが必要だったが、最近は、ゲーム用の一般的なGPUでも動くようになった。今は14B（140億パラメータ）のLLMを動かしている。
ちなみにGちゃん（ChatGPT）などは兆の単位らしい。
うちの環境
- CPU：Ryzen 9 PRO 7945
- Memory：64G
- GPU：NVIDIA GeForce RTX4060（VRAM8G）
オラマ（Ollama）などのツールを使うと、VRAMが足りない場合にMemoryを使って補うことができる。
◆対処法
DDGS Backendを、Bingにする。
この不具合は、すぐに修正されそうな気がする。
検索させてみる。
ソースが見つかりません？
調べるのが面倒
そのうち直るだろう
クロードに正しいか確認してもらった。
ログを確認すると検索ができているようだ。
◆余談
ローカルAIといえば悪事の相談。
拒否
まあ、悪いことは考えないほうがいいね。