この数日Difyをローカル環境でDockerを使って、色々試しています。
LM StudioをDifyに接続できる方法を知ったので、試していたのです。
こちらに、記事を書いています。
LM StudioをDifyに接続できた｜lonely_creator_m https://t.co/dolQRvHOTz #zenn
— エンジニアM168 (@masaru21) June 9, 2024
この中でも書いていますが、LM Studioのローカルサーバーを接続しているときは、ナレッジのインデックスの設定で、高度な・・・を選ぶことができないのです。
この画像のように、経済的という設定しか選ぶことができないのです。
そのためPDFやWordを使ってナレッジを作った場合に、チャットの回答で思うようにナレッジの内容を活用できないようなのです。
私の設定が不十分な可能性もありますが、ナレッジから概要する部分を取り出すことが、できないようなのです。
LM Studioのログを見ていると、ナレッジから抽出されたテキストが、質問の回答の部分に届いていないようなのです。
このインデックスモードで高度な設定を選択したい場合は、OpenAIのAPIキーを設定する必要があるようです。
私は、APIの料金を節約したいので、LM Studioでローカルサーバーを立ち上げて、Difyに接続しました。
LM Studioは、商用利用の際は許可を得る必要があります。
そのため本番の環境では、別の仕組みが必要になります。
でもMicrosoftのAzureやGoogle のクラウド、AmazonのAWSなどを使うと、予算もある程度必要です。
これに加えて、OpenAIのAPIキーの料金の負担も、あります。
クラウドの関係の料金を明確にしたい場合は、Difyを使ってアプリを制作して納品すると良いと思いました。
Difyのクラウドなら、制作したアプリを、そのまま公開できるからです。
毎月の料金も明確なので、安心して利用できると思います。
あとは、OpenAIのAPIの料金を気にすれば大丈夫です。
Difyでアプリを作りますと言う出品が複数あるようなので、私もDifyを使ってFAQなどのアプリを開発したいです。
でも、OpenAIのAPI料金やDifyの料金の負担もあるので、思うように勉強が進んでいないです。
Difyの無料プランは、トライアルのような感じです。
ローカル環境でもDockerを使ってDifyを使っていますが、OpenAIの料金は、必要です。
OpenAIやDifyのアカウントを作り料金の負担をして頂けるお客様でしたら、私もアプリ開発でお役に立てると思います。
私はアプリ完成後も、OpenAIやDifyの料金の負担をしません。
これは、お客様から直接支払って頂くことで、運用自体もお客様に行って頂けるようにしたいからです。
私がいつまでも面倒を見ることは、できないです。
それに、私が運用サポート、保守などで毎月面倒を見るとしても、先払いではないので、OpenAIやDifyの支払いがスムーズにできないときは、トラブルになってしまいます。
通常のウェブサイトやウェブアプリもそうですが、ドメインの更新料、購入代金、サーバーの費用は、私は、お客様に直接支払って頂くようにしています。
ドメインは、財産です。
いざとなったら売却できるので、お客様の名義で契約してほしいと思っています。
現状では、小規模な会社やお店がLLMやSLMを使ってFAQのAIチャットボットを作る際は、Difyを使う形が分かりやすくて良いと思います。
