MIT Technology Reviews記事「フェイスブック、100言語間で翻訳できる言語モデルを公開」が面白い。
ファイスブックは、英語を中間言語とせずにさまざまな組み合わせの言語間で直接翻訳が可能な言語モデル「M2M-100」を開発し、オープンソースとして公開されているようだ。
https://www.technologyreview.jp/s/222731/facebooks-new-polyglot-ai-can-translate-between-100-languages/?fbclid=IwAR3c7JK3O7yT10GDyflH-gohO541r4A_TBvE6hUdTljfRUaPZXwlPz8VBNw
Karen Hao 米国版 AI担当記者
Edurne Chopeitia / Unsplash
・このモデルは75億の文章ペアで訓練された。これほどの大規模なデータセットを集めるために主に使われたのが「自動キュレーション」だ。研究者らはWebクローラーを使用してWeb上から何十億もの文章を集め、別の言語モデルである「ファストテキスト（FastText）」に何の言語であるかを判定させた（フェイスブックのデータは一切使用しなかった）。その後、フェイスブックのAI研究所が以前開発したプログラムである「レーザー（LASER） 2.0」を使って、教師なし学習（手動のラベル付きデータを必要としない機械学習）で多言語間の文章の意味を一致させたという。
・レーザー2.0は、大規模で構造化されていない文のデータセットから「埋め込み」と呼ばれるものを作成する。各言語内の使用可能な文例で訓練し、それらがどれだけの頻度で、どれほど近くに位置して使用されるかに基づき、相互の関係を対応付けしたものだ。こうした埋め込みは、機械学習モデルが各文の意味を近似するのに役立ち、レーザー2.0は別の言語で同じ意味を持つ文章を自動的にペアリングできるようになるという。
・現在のところ、フェイスブックは自社のサービスにこのモデルを使用することは考えていない。M2M-100は研究に限った目的で作られたという。だが最終的には、このモデルがフェイスブックの既存の翻訳能力を向上、拡張させることが目標である。ユーザーとのコミュニケーション（例えば投稿を母国語に翻訳できるようにする機能）や、コンテンツ・モデレーションに使われる可能性もあるという。
ＩＴ起業研究所ITInvC代表 小松仁