「うちもAIやってます」って言いたいだけで、GPUが物置になった話
先週、あるクライアントの社長さんが胸を張って言いました。「うちもローカルLLM、導入しました」。見せてもらったサーバー室には、30万円のGPUカードが1枚、ファンを唸らせながら、体感で最新のクラウドAIに1〜2世代及ばない返事を返していました。月の電気代は数千円上乗せ、稼働率は体感10%以下。
こんばんは、せおっちです。今日はこの構造の話をします。
先日、Zennで中小企業のローカルLLM熱の背景を「機密・コスト恐怖・見栄」の3つの動機で整理している記事を読んで、思わず膝を打ちました。自社でAIエージェント会社をやりながらEC事業者さん向けにAI導入相談に乗って1年半、現場で見てきたパターンとほぼ一致していたからです。この3つの動機を軸に、最後に「動機→処方箋」の対応表まで整理します。保存して使えるフレームにするつもりなので、まずは1個ずつ潰していきます。
「うちのデータは門外不出」という御神体思想
一番目の動機は「機密データを外に出したくない」。顧客リストや原価データをOpenAIのサーバーに送るのは、気持ちのいいものじゃない。その感覚自体はよく分かります。
でもよく見ると、多くの会社はそのデータを社内の共有フォルダにパスワードなしで置いているのに、AIにだけ異常な潔癖さを発揮します。私はこれを「御神体思想」と呼んでいます。本殿の奥に鎮座させて誰にも見せない割に、賽銭箱（＝社内フォルダ）の鍵は開けっぱなし、という状態です。守るべき本丸をワンランク間違えている会社が、体感でかなりの割合います。
実際のところ、主要なAPIは既定でAPI入力を学習に使いません（ChatGPTのブラウザ版をそのまま使う場合とは別の話です）。心配なら契約前に利用規約を確認すればいいだけで、30万円のGPUを買う理由にはならないんです。
従量課金という青天井教への恐怖
「クラウドAPIって使うほど請求が跳ね上がるんでしょ、怖くない?」。先日、我が家の中央銀行総裁（妻）にこの話を振ったら、一刀両断されました。「じゃあ、確実に30万円溶ける方は怖くないの?」。
中小企業のAI活用（問い合わせ対応の下書き、レビュー返信、商品説明文の生成くらい）なら、クラウドAPIの月額は数千円〜2万円程度で収まるケースがほとんどです。仮に月2万円だとすると、30万円分に達するのに15ヶ月かかる計算になります。その間、クラウド側の最新モデルは着実に進化し続けますが、買い切ったGPUの性能はその日のまま据え置き。つまり「いつか元が取れる」どころか、先に投資を止めた分だけ精度で負け続ける計算です。従量課金という「青天井教」を怖がって、確実に元本割れする買い物に走る。これは信仰というより、恐怖からの逃避です。
「うちもAIやってます」という幕内番付争い
展示会の会場で、名刺交換した相手が開口一番こう言いました。「うちもAI導入済みです」。悪い顔ではありませんでした、むしろちょっと誇らしげでした。
正直に言うと、これが一番よくある動機だと思っています。「うちもAIやってますが欲しい」。私も自社の開発サービス（今260社ほどにシステムを提供しています）を説明するとき、多少盛って話したい気持ちはゼロではないので、経営者の見栄として否定はしません。ただ、それを言うためだけに精度も運用も伴わないローカルLLMを社内サーバーに置くのは、番付に名前はある、でも土俵には上がらないようなものです。名乗りだけあって、実際の取組みには一度も出ない。
見えないコストという名の隠し艦隊
ここが一番の地雷です。ローカルLLMは「一度買えば無料」に見えますが、実際にかかるコストは請求書に載らない場所に隠れています。
GPU本体（数十万円）
電気代（300W前後で24時間稼働、電力単価1kWhあたり31円で計算すると月あたり約6,700円。これが「数千円〜1万円超」の内訳です）
モデルのアップデート・チューニングをする人件費
精度劣化への対応(クラウドの最新モデルと比べ、体感で1〜2世代前の性能で止まる)
見える予算の外側に浮かべた「隠し艦隊」の維持費のようなものです。表向きの予算書には載らないのに、毎月確実に燃料（電気代）と乗組員（保守できる人）を食う。中小企業ほど、この隠し艦隊を維持できる乗組員（社内エンジニア）がいません。だから一番痛い目に遭うのは、体力のある大企業ではなく中小企業なんです。
じゃあどう判断すればいいか
散歩中にこの話をChatGPTと壁打ちしていて整理できたのが、結局これは「動機」と「手段」がズレているだけ、ということです。動機は病名で、手段は薬。ローカルLLM信者の多くは、風邪（機密不安）に抗がん剤(30万円のGPU)を処方しているようなものです。処方箋を書き間違えているだけなら、書き直せばいい。
機密データが心配 → まずAPI提供元のデータ利用規約(学習利用の扱い)を確認する。主要APIは既定で学習に使わない設計になっています。
従量課金が怖い → 月次の利用上限（予算アラート）を設定する。青天井を怖がるなら、青天井にならない設定を先に入れればいい。
「うちもAIやってます」と言いたい → 言うための道具と、成果を出すための道具は別に持っていい。ただし社外に見せる用と実務用を混同すると、実務側が伴わずボロが出ます。
ローカルLLMが正解になるのは、次の2条件のどちらかに当てはまるときだけです。
1. 月間の処理量が数万件を超え、クラウドの従量課金が実際にGPU代を上回る規模になっている2. 業界規制などで、外部送信そのものが不可能な機密情報を扱っている
うちの店舗規模のEC事業者なら、まずここまで到達しません。
冒頭の社長さんのGPUカードは、結局サーバー室の隅で埃をかぶっています。「うちもAIやってます」の3文字を手に入れるために30万円払った結果、手に入ったのは埃をかぶった物置と、次の展示会で名乗る権利だけでした。
AIの導入判断は、動機に忠実になるほど手段を間違えやすい。実際に導入を検討する際は、ご自身の会社の処理量・予算・保守体制を踏まえて、最終的な判断は自己責任でお願いします。