はじめに
日本ディープラーニング協会主催のjdla緊急企画「生成AIの衝撃チャット GPTで世界をどう変わるのか」が開催されました。このセミナーでは、ディープラーニング技術の進展により、生成AIチャットGPTがどのようにビジネスに影響を与えるかを議論しました。約6000名を超える参加者があり、非常に盛況でした。
ディープラーニング技術の進展
ディープラーニング技術は、2010年代に入ってリプラーニングが進展し、データ量の増大と共に進歩してきました。人間の神経回路を模したニューラルネットワークを使った技術であり、画像や自然言語処理分野で大きな進展を見せています。
特に、2018年以降には自然言語処理技術の進展が著しく、トランスフォーマーという技術が注目されました。トランスフォーマーは、ニューラルネットワークの情報に基づいて注目する情報を変えていく機構を用いたものであり、自然言語処理に非常に適した技術です。
生成AIチャットGPTの進展
生成AIチャットGPTは、日本でも昨年末に発表され、日本語が極めて自然な形で使えるようになりました。この技術の進展により、仕事が失われるといった懸念や、嘘をつく可能性があるという批判がされていますが、一方で技術的な理解を深める議論もされています。
ビジネスに与える影響
生成AIチャットGPTは、ビジネスに様々な影響を与えることが予想されます。以下にその一例を挙げます。
- コスト削減：生成AIチャットGPTを活用することで、人的コストを削減することができます。
- カスタマーサポート：生成AIチャットGPTを用いたカスタマーサポートを提供することで、24時間対応や迅速な対応を実現することができます。
チャットGPT：新しい使われ方の発見と現象
チャットGPTは、AIの進歩とソーシャルな相互作用により、急激に普及している。この現象により、新しい使われ方が生み出され、研究者や技術者も驚いている。チャットGPTは単語の予測だけでなく、数学的な概念や心理理論などの操作も学習しており、非常に面白い現象である。また、なりきりの能力も驚くような能力があることがわかってきた。
使われ方
チャットGPTは様々な使われ方がある。例えば、感想文やディベート、英語の文章の翻訳などが挙げられる。さらに、コールセンターのオペレーターになりきることもできる。このようななりきりの能力は驚くような能力である。他にも、バグの発見やプログラミングにも使われることがある。
GPT3と他のAI技術の違い
GPT3は他のAI技術と違い、従来のAI技術と比べて非常に面白いとされる。GPT3は単語の予測だけでなく、数学的な概念や心理理論などの操作も学習している。そのため、創造性に関する問いを投げかけることができる。
ビッグテックの動き
Googleが昨年12月にコードレート非常事態宣言を出したことから、MicrosoftとオープンAIの連合軍との戦いが始まった。Googleが発表したバードにも問題があったため、株価が下がったことがある。一方、BingにはGPTが搭載され、Bingユーザーが増えることが予想されている。
大規模言語モデルが単語を予測する裏側に起こること
東京工業大学の岡崎先生による講演から、大規模言語モデルが単語を予測する裏側で何が起こっているか、その仕組みについて紹介します。言語モデルとは何か、n-gram言語モデル、そして深層学習を用いた言語モデルであるRNAニューラル言語モデルについて解説します。
言語モデルとは何か
言語モデルとは、ある単語列の生成確率を推定するモデルです。例えば、あるテキストに続く単語を予測するタスクは、全ての単語の集合を当てはめて確率を求め、最も高くなる単語を選ぶことで行います。条件付き確率を用いて、単語列の先頭から生成する確率、最後の単語からEOSと呼ばれる特殊なシンボルを生成する確率を表現します。
n-gram言語モデル
n-gram言語モデルは、ある単語を生成する際に、その前のn-1個の単語までを見ることで、確率を求めるモデルです。これにより、長距離依存性の問題を解決することができます。しかし、計算が複雑になるため、データから確率を推定する際に問題が発生します。
RNAニューラル言語モデル
RNAニューラル言語モデルは、単語を単語ベクトルで表現し、行列を通して合成していくことで、最終的に単語を予測すべき確率分布を表現するベクトルを予測するモデルです。このモデルは、再起型ニューラルネットワークを用いて構成されます。
言語モデルは、単語列の生成確率を推定するモデルであり、n-gram言語モデルによって長距離依存性の問題が解決されましたが、計算が複雑になるという問題がありました。
大規模言語モデルによる思考の連鎖
概要
大規模言語モデルはテキストの続きを予測するモデルであり、自然言語による様々なタスクを解くことができる。その中でも注目されているのが、思考の連鎖を追う研究である。思考の連鎖とは、問題解決や推論をする上で、最終的な答えに至るまでの中間的な推論ストップのことを指す。本稿では、大規模言語モデルによる思考の連鎖の研究について解説する。
パインチューニングとプロンプト
大規模言語モデルは、パインチューニングによって様々なタスクを解くことができる。しかし、大規模なモデルではパラメータの更新が必要になるため、コストがかかることがある。そこで、GPT2やGPT3の論文では、プロンプトと呼ばれる手法を提案している。プロンプトとは、与えられたテキストに対して、次に予測される単語を考慮して質問をすることで、パインチューニングを行わずに様々なタスクを解くことができるようになる。
思考の連鎖について
思考の連鎖を追う研究では、自然言語による一連の中間的な推論ストップを追うことで、最終的な答えに至るまでの思考の過程を可視化することができる。例えば、簡単な算数の文章問題でも、頭の中で16÷2は8、8÷2は4といった中間的な推論ストップが存在する。大規模言語モデルは、このような思考の連鎖を追うことができるため、様々な問題解決や推論に応用することができる。
注目ソート
注目ソートとは、思考の連鎖を追う研究の中でも注目されている手法である。注目ソートでは、自然言語による一連の中間的な推論ストップを、重要度の高いものから順に並べ替えることで、思考の過程を可視化が可能となった。
AI研究者が語るコンシューマーサービスとしての生成AI
AIとは
人工知能とは、人間の知能をコンピューター上に再現する技術です。人間の脳の仕組みを模倣し、データを学習して、その結果から未知の問題を解決することができます。
生成AIとは
生成AIとは、人工知能の一種であり、画像や文章などの「生成」を行う技術です。画像生成AIならば、指定した条件に基づいて新しい画像を生成することができます。文章生成AIならば、与えられたテーマに基づいて文章を生成することができます。
コンシューマーサービスとしての生成AI
生成AIは、コンシューマーサービスの分野でも注目されています。例えば、以下のようなサービスがあります。
- キャラクター生成サービス：オリジナルキャラクターを簡単に作成できるサービス
- テキスト生成サービス：ニュース記事などの記事を自動生成するサービス
- デザイン生成サービス：ロゴやWebデザインなどのデザインを自動生成するサービス
これらのサービスは、人間が手作業で行う場合に比べ、短時間で多くの作業ができ、コストも削減できます。また、AIが自動的に生成するため、個性的でオリジナリティのある作品を提供することができます。
スケーリングの問題
生成AIをコンシューマーサービスとして提供する際には、スケーリングの問題があります。スケーリングとは、サービスの利用者数が増えた場合にも、サービスを提供し続けることができるようにシステムを拡張することです。生成AIを利用する場合、データ量やパラメータ量が大きくなると、処理時間やメモリ使用量が増え、スケーリングの課題が生じます。
AIを用いた生成技術は、コンシューマーサービスの分野でも活用されるようになっています。生成AIを利用すること
生成AIの進展：技術、ビジネス、そして日本の可能性
技術の進展速度と生成AIの活用可能性
生成AI技術の進展速度は非常に速く、GPT-3やチャットGPTのような技術には、既に相当な使える部分があると言える。これまでのAIシステムが使いにくいものであったのに比べ、生成AIは広い範囲で活用が可能である。今後も新しい技術が登場してくることが予想されるが、現在の生成AIの可能性は十分に大きい。
ビジネスに訪れる変化と生成AIの活用
ビジネスにおいて、生成AIの活用がますます求められている。ビジネスにおける生成AIの利用には、以下のようなメリットがある。
- 顧客とのコミュニケーションの改善
- 業務プロセスの自動化
- データ解析によるマーケティングの最適化
これらのメリットを享受するためには、生成AIの技術を十分に理解し、ビジネスに適用する方法を見出す必要がある。
日本の組織と生成AIの活用
日本においても、生成AIの活用は進んでいる。しかし、一方で、組織や企業が生成AIを活用する際には、以下のような課題がある。
- 人材不足
- セキュリティ上の懸念
- データの信頼性
これらの課題を克服するためには、組織や企業が自らの課題を把握し、適切な対策を講じる必要がある。
生成AIの活用には、ビジネスにおいて大きな可能性がある。そのためには、生成AIの技術を十分に理解し、課題を克服するための努力を惜しまないことが必要である。
大規模言語モデルのビジネス応用
導入
チャットGPTやテーブルディフュージョンのような大規模言語モデルは、ビジネスにおいて様々な利用方法が考えられます。ただ、コンシューマー向けのサービスとエンタープライズ向けのサービスというのは異なります。エンタープライズで使う場合はセキュリティの面やデータの取り扱いに関して注意が必要です。
ビジネスでの具体的な応用
大規模言語モデルをビジネスで活用する方法は、以下のようなものがあります。
- コールセンターの自動応答
- チャットボットの作成
- 企業の文章をプロンプトとして利用し、自動応答を行う
データの取り扱い
大規模言語モデルは、本の書き起こしやWeb上の情報を学びます。また、質問に答えるAIや翻訳、要約に関するデータも手作業で作られています。ビジネスで使う場合は、企業固有の情報を学ばせることもできます。この場合、ファインチューニングと呼ばれる方法が使われます。
情報処理の効率化
大規模言語モデルを使うことで、情報処理の効率化が期待できます。例えば、メールの返信や問い合わせに関する処理を自動化することで、労働力の節約ができます。また、ビジネスで使う場合は、企業の情報をあらかじめモデルに学ばせることで、質問に対する返答を的確に行うことができます。
技術の進歩とニーズの高まり
ビジネスで大規模言語モデルを使う場合、自動応答や情報処理の効率化などによって生産性の向上が期待できます。しかし、データの取り扱いやセキュリティに関する問題もあるため、適切に利用することが必要です。また、技術の進歩に伴い、情報処理のニーズが高まっていると考えられます。例えば、特定の商品を売り込むために、自動応答シス
インターネット情報の質はAIの進化とともに低下する？
インターネットの変化
インターネットが普及した当初は、無料で情報を検索できることが大きな魅力でした。しかし、今ではその価値観は変わりつつあります。例えば、限られた人数しか知らない情報の方が価値が高いとされるようになっています。また、大量のデータがタダで読めることで、大規模言語モデルのような技術が逆にバカになっていく恐れも指摘されています。
AIの進化と学習データの問題
大規模言語モデルは、トランスフォーマーのような技術が使われており、中でもネクストトークンプリディクションは非常に優れていると言われています。しかし、AIが自動生成した情報は嘘や有害なものになる可能性が高く、本当の情報を知りたければお金を払うしかない時代が来るかもしれません。一方で、AIが学習するためには大量のデータが必要であり、自動生成されたデータが増えることで、本当に必要な学習データが減ってしまう問題も指摘されています。
GPTによる自動生成の可能性
今後は、人間が書いた正しいデータが必要になるかもしれません。しかし、人間が書くことのコストが高いため、自動生成されたデータが必要になる状況もあるでしょう。例えば、自分が書いたブログを元に自動生成することも可能です。しかし、完全に正解とは言えないため、GPTを使ったデータのコメンテーションが重要になってくると思われます。
インターネットの情報の質はAIの進化とともに低下していく可能性があるが、GPTなどの技術によって自動生成されたデータも増えつつある。今後は、人間が書いた正しいデータと自動生成されたデータのバランスが重要になってくると思われる。