【目的】
●ローカルLLMがどのようなものか触れてみる
●各種調査
-どのような言語モデルが利用できるのか
-構築は容易にできるのか、どのような使い勝手か、業務を効率化できるか
-KSGのノウハウを参照した回答が生成できるのか
-社内情報を外部に漏らさず、全社員が利用できるのか
【検証ツール】
GPT4やLlamaなどを簡単に利用できる管理ツール
※LLM単体で利用するのは難易度が高いため、管理用のOSSを利用して検証します。
検証① ローカルLLM構築（LM Studio)
ワンクリックで利用する言語モデル追加可能。操作はとっても簡単。
チャット内で言語モデルの切り替えができるため、
環境構築へのハードルが非常に低い点が特徴
言語モデルごとの特徴
＜懸念点＞
・オフラインで利用できる情報の最新時点は、比較の中ではOpenAI/gpt-ossが最新で2024年6月までのインターネットデータを参照できるが、最新のものではなくビジネス用途では古く、ハルシネーションが発生しやすくなる
・いずれの言語モデルも、クラウドの最新モデルより、1，2バージョンほど古いため回答精度が低い
LM Studioの課題
【検証途中結果】
→LM Studioは簡単に触ることができた。構築イメージやどのようなことができるかは確認できた
●各種調査
-どのような言語モデルが利用できるのか
→どの管理ツールも、GPT OSS(OpenAI)、Gemma(Google)、Lamma(Meta)など選べる言語モデルに差はない。LLMだけでは一般的な回答しかできないため、RAG(Retrieval-Augmented Generation) ※外部のデータソース（データベースや文書）から関連情報を検索して追加する機能との連携が必須
-構築は容易にできるのか、どのような使い勝手か、業務を効率化できるか
→LLM+RAGの環境が必要
であることが判明した、また複数人でアクセスするためのWebServerも必要
-KSGのノウハウを参照した回答が生成できるのか
→未検証、RAGの構築をLM StudioやOllamaとそれと連携するアプリケーションで実現
-社内情報を外部に漏らさず、全社員が利用できるのか
→未検証。インターネット接続がない状況での言語生成は可能であるが、社員利用時にインターネットからのアクセスを受け付ける必要があるため、専用ネットワークの構築が必要
有償ソリューションについて
有償ソリューション】
lNeo AI ローカルLLM構築サポート (マクニカ)
https://www.macnica.co.jp/business/semiconductor/manufacturers/nvidia/products/147133/
lGDEPソリューションズローカルLLMスターターセット(菱洋エレクトロ)
https://www.ryoyo.co.jp/info/products/30478/
→Ollamaで構築し、WebUIと連携させたモデル（KSGでやろうとしている構築）
プレインストールモデル：Llama3,Gemma2,Phi-3(Microsoft)
lRICOHデジタルバディ ※クラウドサービス
→生成AI+RAG どのようなモデルを利用しているか不明。回数制限、容量制限あり。インターネット接続でのデータアップロードのため、情報漏洩リスクあり