MIT Tech Review「解説：空前のブーム「チャットGPT」はどこから生まれたのか？」（Will Douglas Heaven 米国版 AI担当上級編集者）がちょっと面白い。
「2022年12月に登場した「チャットGPT」は大きな反響を呼び、ユーザー数は瞬く間に1億人を超えた。とはいえ、チャットGPTの技術はまったくの新技術ではなく、既存の技術を改良したものだ。あらためて解説する。」
「チャットGPTは、同じくオープンAIが開発した大規模言語モデル「GPT-3」の1バージョンである。 言語モデルとは、膨大なテキストで訓練されたニューラル・ネットワークの一種だ（ニューラル・ネットワークは、動物の脳内で神経細胞が互いに信号を送り合う仕組みにヒントを得たソフトウェアである）。テキストはさまざまな長さの文字や単語の並びで構成されている。言語モデルには、そのようなデータを理解できるニューラル・ネットワークが必要になる。1980年代に考案された回帰型ニューラル・ネットワークは、連続した単語の並びを処理できる。だが訓練に時間がかかり、並びの中の前の単語を忘れてしまうことがある。」
「1997年、コンピューター科学者のゼップ・ホッフライターとユルゲン・シュミットフーバーが、LSTM（Long Short – Term Memory：長・短期記憶）ネットワークを発明してこの問題を解決した。これは、入力データのうち、過去のデータをより長く保持できる特殊なコンポーネントを備えた、回帰型ニューラル・ネットワークである。LSTMは数百語の文字列を扱うことができたが、その言語能力には限界があった。」
「現在の大規模言語モデルを実現可能にしたブレークスルーは、グーグルの研究チームによって起こった。グーグルは、単語やフレーズがテキストの並びの中のどこに現れるかを追跡できるニューラル・ネットワークの一種「トランスフォーマー（Transformers）」を発明した。単語の意味は、前後に来る他の単語の意味に依存することが多い。このコンテキスト情報を追跡することで、トランスフォーマーはより長い文字列を処理し、単語の意味をより正確に捉えることができる。たとえば、「ホット・ドッグ（暑がっている犬）にはたくさんの水を与えなければならない」と「ホット・ドッグ（食べ物）はマスタードを付けて食べるべきだ」という2つの文章では、「ホット・ドッグ」の意味が全く違ったものになる。」
「GPT（Generative Pre-Trained Transformerの略）は、教師なし学習とトランスフォーマーを組み合わせたものだ。教師なし学習とは、事前に注釈が付けられてないデータ（この場合は大量のテキスト）で、機械学習モデルを訓練する方法である。これにより、ソフトウェアはデータのパターンを自ら見つけ出し、把握する。何を見ているのかを人間が教える必要はなくなるのだ。機械学習におけるこれまでの成功の多くは、教師あり学習と注釈付きデータに依存していた。だが、手作業によるラベル付けには時間がかかるため、訓練に利用できるデータ・セットの大きさには限りががある。」
「オープンAIがGPT-3のバイアスと格闘している間、業界他社は、AIの有害な傾向を抑制するのに失敗したことで注目を浴びていた。大規模な言語モデルが、誤った、あるいは憎悪に満ちたテキストを吐き出すことがあるのは周知の事実である。ところが、ほとんどの巨大テック企業がこの問題の解決に取り組んでいないことが明らかになった。グーグルのAI倫理チームで共同リーダーを務めたティムニット・ゲブルが、大規模言語モデルが抱える潜在的な害（高いコンピューティング・コストを含む）を強調した論文を共同で発表したとき、上司は快く思わなかった。2020年12月、ゲブルは職を追われることになった。」
MIT Tech Review: 解説：空前のブーム「チャットGPT」はどこから生まれたのか？ (technologyreview.jp)
小松 仁