ollama run hf.co/mmnga/llama-3.1-Swallow-8B-instruct-v0.5-gguf:Q3_K_M
ps4 debian 13で使用ですが、題目で、0.9GB削減です。量子化前は、ブラウザの動き等が悪くなる感じで、量子化で少し改善された感じです。回答も少し変や、間違いの所は有りますが、こんな所です。
ピザの作り方も聞いてみました。正確かは分からないですが、それらしい回答はしてくれています。
ollamaが動いている時、別のターミナルを開いて、ollama ps エンターで、cpu/gpuの使用状況が、分かりますが、ps4 はcpu100%で、ノートpcも同じでした。