ローカル環境でLLMやSLMを試したい人は、Snapdragon X Elite搭載パソコンが | AIを使って生産性向上を目指すクリエイターM

AIを使って生産性向上を目指すクリエイターM

ツインレイと出会い人生V字回復を目指しています。
ココナラを通じてWordPressの復旧作業を多数請負った実績ありIT系の仕事をしたいという夢を叶えています。
法人化できるように活動しています。

Snapdragon X Elite搭載パソコンは、45TOPSの能力があるので、LLM(生成AIの学習モデル)もローカル環境で快適に使えると思います。
Core UltraのNPUよりもSnapdragon X Eliteの方がTOPSの値が高いので、Copilot+PCの機能を利用を希望される際は、Core Ultraよりも、Snapdragon X Elite搭載パソコンを選択されると良いです。

生成AIをローカル環境で使いたい人は、Snapdragon X Elite搭載パソコンを選択できるようになったので、Mac Studioなどのパソコンなどハイスペックなパソコンでなくても良いので、選択肢が広がったと思います。


でも、これは、学習モデルの重み、使用するVRAMの容量にも影響しますので、利用したいLLMが求めているスペックを確認することも重要です。

LM Studioを使うと、簡単にローカル環境、手元にあるパソコンで、LLMを利用できます。
私は、RTX3060 laptop搭載パソコンなので、VRAMが6GBで本体メモリRAMが16GBですが、こちらの記事のように、ArrowPro-7B-KUJIRAを利用できました。

 

https://ameblo.jp/atelier-miracle/entry-12851703933.html



またMicrosoftのSLM Phi-3の少ないようでしたら、私のパソコンでも使うことができました。


https://ameblo.jp/atelier-miracle/entry-12849952504.html


でも本体のRAMが32GBあるパソコンであれば、快適に使えると思います。
LM Studioは、VRAMの容量が足りなくなった時に自動で本体のRAMを使うそうです。
そのため本体のRAMの容量が大きい方がLLMやSLMをローカル環境で試す際は有利になります。
 

2024年6月18日以降にSnapdragon X Elite搭載パソコンが発売されますので、これを待つのが最善と思われます。

Snapdragon X EliteとCore Ultraの主な違いは、こちらの記事も参考になると思います。