先日、日本からのお土産にいただいた日経ソフトウェアの記事を見ながら、
（関連記事）
自分のマシンの中でローカルAIを使う実験をしました
しかし、結論から言うと、遅すぎて非現実的でした
自分で作った簡単なプログラムからAIに対してプロンプト（質問）を投げて、返ってきた答えを表示させるだけの実験をしたところ、
回答が表示されるまでに３分以上待ちました
その間、GPUはずっと高負荷状態で動きっぱなし、
GPU用に割り当てられたメモリも常にほぼ１００％使いっぱなし（というか足りていない）です
・・しかしこれはほぼ想定の範疇でして
今出回っているローカルAIのLLMエンジンを使うには、CPU内蔵のGPUではほぼ使い物にならず、またVRAMが１２GBくらいあるマシンが必須であると言われております
・・ところでなぜ、AIを動かすにはCPUではなくてGPUを使うことになっているのか？
だいたいGPUって画面描画のためのチップではないのか？
そもそもCPUの方がGPUよりかしこいに決まっているのではないか？
という疑問をお持ちの方もいるかもしれないので、簡単に解説しますと、
はい、確かにGPUは画面描画・３Dグラフィックスのレンダリングのための計算に特化したプロセッサです。
したがって、画面に描画する点の一つ一つの座標やカラーを高速に計算する必要があります。
そういう計算に必要なのは、行列演算であり、行列の計算は単純な四則演算の大量な組み合わせですから、
GPUに求められるのは、単純な四則演算を大量に一括して超高速で行うことになります。
CPUのように、複雑な浮動小数点演算などを行う必要はありません。
したがってGPUの内部はどうなっているかというと、単純な四則演算しかできない簡易なコアが、実に数千～数万個入っているのです
例えば人気の高いNVIDIAの RTX 4090というグラフィックスボードに採用されているGPUには、
なんと１６，３８４コアも入っています
一方、CPUはと言えば、コア数はだいたい８コア～１６コア、超高価なハイエンドCPUであっても、せいぜい２４コアくらいです。
（ちなみに私の使っているこのPCに搭載されているCore Ultra は、８コアです）
たとえて言うなら、CPUというのは天才的な頭脳を持った超人のような人たちが１０人くらい集まった集団で、GPUは単純労働のための日雇い労働者のような人たちを数万人集めたような集団、という感じになると思います。
さて、AIの処理の実態というのは、実はほぼすべてが行列・ベクトル演算です。
数億～数百億のパラメータに対して統計的に最も近い値を算出して統合して答えを導き出すような動きになりますので、単純計算を超大量に、超高速にできる必要があります。
もちろん、８コア程度のCPUに、数百億のパラメータの行列計算を行わせることは可能です。
しかしそれは宝の持ち腐れと言いますか、CPUの得意とする複雑な演算は全く使わず四則演算だけを８コアで何億分割もして行うという実に効率の悪い動作になってしまいます
その点、GPUであれば、数万コアを同時に使って一気に計算できますから、当然別次元の速度で処理できる、というわけです。
また、AIのためには RAM（CPUが使うメモリ）よりもVRAM（GPUが使うメモリ）の大きさがパフォーマンスを左右する、と言われていますが、
それも同じような理由になります。
GPUが四則演算をした結果をストアするのはVRAMですので、VRAMが大きい方がパフォーマンスがあがるはずです。
（VRAMに入りきらないと、普通のRAMに転送されるのでそのオーバーヘッドの分遅くなります）
ちなみにマックのMシリーズチップ（M1～M5）は、GPUに相当する単純計算のエンジンを同じチップに搭載しており、
さらに通常のRAMの一部をVRAMとして使用しますので、とにかくメモリ容量が大きいMacがローカルAIにはいいということになります。
ということで、Windows系のPCで ローカルAIを快適に使うには、超高性能グラフィックボード（コア数の多いGPUを搭載し、VRAM容量がやたら大きい）を載せる必要があります。
その点、いわゆるゲーミングPCは 高性能なグラボを搭載しているため、AIには強いということになります
ただ、ゲーミング系のノートPCはとてもボディが大きく重いので（グラボを内蔵しているので当然ですが）、持ち歩きには厳しいと思います。
しかもかなり高価です。５０万円以下ということはまずないと考えられます
う～～ん、ローカルAIを快適に使うには、まだまだ据え置きデスクトップPCに大量のリソースを搭載したマシンが必要だというのが現実のようです。