【目的】

●ローカルLLMがどのようなものか触れてみる

●各種調査

　-どのような言語モデルが利用できるのか

　-構築は容易にできるのか、どのような使い勝手か、業務を効率化できるか

　-KSGのノウハウを参照した回答が生成できるのか

　-社内情報を外部に漏らさず、全社員が利用できるのか

【検証ツール】

　GPT4やLlamaなどを簡単に利用できる管理ツール

　※LLM単体で利用するのは難易度が高いため、管理用のOSSを利用して検証します。

検証① ローカルLLM構築（LM Studio)

ワンクリックで利用する言語モデル追加可能。操作はとっても簡単。

チャット内で言語モデルの切り替えができるため、

環境構築へのハードルが非常に低い点が特徴

言語モデルごとの特徴

＜懸念点＞

・オフラインで利用できる情報の最新時点は、比較の中ではOpenAI/gpt-ossが最新で2024年6月までのインターネットデータを参照できるが、最新のものではなくビジネス用途では古く、ハルシネーションが発生しやすくなる

・いずれの言語モデルも、クラウドの最新モデルより、1，2バージョンほど古いため回答精度が低い

LM Studioの課題

LLM環境の構築は容易だが、社内情報を参照する機能（RAG）は標準では搭載されていないため、テキストやPDFを読み込むための別ブログラムとの連携が必要。その場合は導入が用意というメリットが失われ、Ollamaなど別の管理ツールのほうが使い勝手が良さそう

【検証途中結果】

●ローカルLLMがどのようなものか触れてみる

→LM Studioは簡単に触ることができた。構築イメージやどのようなことができるかは確認できた

●各種調査

-どのような言語モデルが利用できるのか

→どの管理ツールも、GPT OSS(OpenAI)、Gemma(Google)、Lamma(Meta)など選べる言語モデルに差はない。LLMだけでは一般的な回答しかできないため、RAG(Retrieval-Augmented Generation) ※外部のデータソース（データベースや文書）から関連情報を検索して追加する機能との連携が必須

-構築は容易にできるのか、どのような使い勝手か、業務を効率化できるか

→LLM+RAGの環境が必要

であることが判明した、また複数人でアクセスするためのWebServerも必要

-KSGのノウハウを参照した回答が生成できるのか

→未検証、RAGの構築をLM StudioやOllamaとそれと連携するアプリケーションで実現

-社内情報を外部に漏らさず、全社員が利用できるのか

→未検証。インターネット接続がない状況での言語生成は可能であるが、社員利用時にインターネットからのアクセスを受け付ける必要があるため、専用ネットワークの構築が必要

有償ソリューションについて

有償ソリューション】

lNeo AI ローカルLLM構築サポート (マクニカ)

https://www.macnica.co.jp/business/semiconductor/manufacturers/nvidia/products/147133/

lGDEPソリューションズローカルLLMスターターセット(菱洋エレクトロ)

https://www.ryoyo.co.jp/info/products/30478/

→Ollamaで構築し、WebUIと連携させたモデル（KSGでやろうとしている構築）

プレインストールモデル：Llama3,Gemma2,Phi-3(Microsoft)

lRICOHデジタルバディ　※クラウドサービス

→生成AI+RAG　どのようなモデルを利用しているか不明。回数制限、容量制限あり。インターネット接続でのデータアップロードのため、情報漏洩リスクあり

ローカルLLM検証①