ノートpcにもllama.cppでLFM2.5-VL-1.6B-です | meibi150のブログ

meibi150のブログ

ブログの説明を入力します。

LiguidAI/LFM2.5-VL-1.6B-GGUF:Q4_0 -ngl 0 -c 2048 -t 2 --prompt "hello"

 

軽快で、良い感じですが、cpuが働き過ぎか、ファン音が高くなっています。前に1.2Bでやっているようです。沢山するので、かぶって来るかもです。

 

llama-cli -hf LiquidAI/LFM2.5-1.2B-Instruct-gguf:Q4_K_M -ngl 0 -c 2048 -t 6 --prompt "hello."