はじめに
近年、LLM（大規模言語モデル）の登場により、人工知能（AI）技術は飛躍的な進歩を遂げています。しかし、データブリックスのCTOであるMatei Zaharia氏は、LLM単体ではなく、複数のLLMに検索システムなどを組み合わせた「複合AIシステム」こそが、これからのAIの主流になると指摘しています。
複合AIシステムの代表例と応用
Zaharia氏によると、複合AIシステムの代表例としては、「RAG（Retrieval-Augmented Generation、検索拡張生成）」が挙げられます。RAGは、ベクトル検索エンジンやベクトルデータベースに企業の業務情報などを格納し、LLMと組み合わせることで、業務知識に基づく高度な回答をLLMに生成させることができます。また、複合AIシステムを活用すれば、LLMが生成した文章の正誤をWeb検索結果に基づいて判断する「ファクトチェック」や、その結果を反映した文章編集も可能になるとのことです。複合AIシステムにおいて、LLMや各種コンポーネントを連係する「パイプライン」の構築には、「LangChain」のようなフレームワークを使ってPythonコードを記述する手法や、LLMベースのAIエージェントに人間がプロンプトを与えて生成する手法があります。さらに、Zaharia氏が開発したOSSである「MLflow」を使えば、各コンポーネントの連係ログなどを監視することも可能だそうです。
複合AIシステムの優位性
Zaharia氏は、単体のLLMを大規模化するよりも、様々なコンポーネントを組み合わせる複合AIシステムの方が、解釈と制御が容易なAIを実現できると指摘しています。LLMが誤った回答を出力した場合でも、問題点をピンポイントで見つけ出して改善点を検討できるのが複合AIシステムの強みです。また、LLMの大規模化には膨大な計算リソースと時間が必要ですが、複合AIシステムはAIの性能を低コストかつ確実に改善できる手法だとのことです。
データブリックスの役割
データブリックスの役割は、複合AIシステムを実現するコンポーネントを一括で提供することにあります。同社は商用利用可能なオープンソースLLMである「Dolly 2.0」や「DBRX」を公開しており、ユーザー企業へ個別にカスタマイズしたLLMを提供できる体制を整えています。また、RAGなどに使用するための業務データは、同社が提供するデータ分析基盤の中に既に蓄積されているため、LLMと企業内ビッグデータの融合も推進できるとのことです。
今後の展望とまとめ
以上の内容を踏まえると、複合AIシステムは、LLMの性能を引き出しつつ、その弱点を補完する画期的なアプローチだと言えるでしょう。LLMと外部システムを柔軟に組み合わせることで、より高度で実用的なAIソリューションの開発が可能になります。また、オープンソースLLMの登場により、複合AIシステムの構築コストも大幅に削減できると期待されます。今後は、複合AIシステムの概念が広く浸透し、様々な業界でLLMを活用した革新的なアプリケーションが登場してくるでしょう。企業は自社のデータ資産を最大限に活用しつつ、LLMの強力な言語処理能力を業務プロセスに取り入れていくことが求められます。そのためには、データサイエンティストやLLM専門家との緊密な連携が不可欠です。複合AIシステムは、まだ発展途上の技術ですが、その可能性は計り知れません。LLMと外部システムの組み合わせ方次第で、これまでにない革新的なAIソリューションが生み出されるかもしれません。企業は複合AIシステムの動向を注視しつつ、自社でどのように活用できるかを検討していく必要があるでしょう。LLM専門家やコンサルタントのアドバイスを参考にしながら、複合AIシステムを戦略的に導入していくことが、これからのAI時代を勝ち抜くカギになりそうですね。
参考にした情報源：
