富士通研究所はディープラーニング（深層学習）における
教師なし学習の精度を大幅に向上できる
人工知能（AI）技術「DeepTwin（ディープツイン）」を発表した。
AI分野の長年の課題だった「次元の呪い」を、
映像圧縮技術の知見を活用することで解決したとする。
機械学習の最有力学会である「ICML 2020」で7月14日に論文を発表した。
「次元の呪い」とは、データの次元（要素数）が大きくなると、
そのデータを分析する際の計算量が指数関数的に増大する現象を指す。
次元の呪いを回避するため、一般的に機械学習の高次元データは次元を減らす。
ただ従来の手法には、
次元の削減に伴ってデータの分布や確率が不正確になる課題があり、
それがAIの精度低下を招く一因になっていた。
例えば分布や確率が実際と異なると、
正常データを異常と誤判定してしまうような間違いを引き起こしてしまう。
富士通研究所は今回、ディープラーニングを使った
次元削減の手法である「オートエンコーダー」を
映像圧縮技術の知見に基づいて改良することによって、
分布や確率を損なわずにデータの次元を削減できるようになったとする。
同社は次元削減における従来の問題点を解消したのは世界初であり、
次元の呪いの課題を解決したとしている。
■「情報量」を最小化するよう学習
オートエンコーダーは、
データの次元を圧縮するニューラルネットワークである「エンコーダー」と、
圧縮したデータから元のデータを復元する
ニューラルネットワークである「デコーダー」で構成する。
これまで、オートエンコーダーの学習（トレーニング）においては、
大量のデータを使ってデータの圧縮と復元を繰り返し、
元データと復元データの誤差が最小になるように
エンコーダーとデコーダーのニューラルネットワークのそれぞれを調整していた。
それに対し、富士通研究所が今回発表した手法では、
オートエンコーダーを学習する際に元データと復元データの誤差だけでなく、
エンコーダーが次元削減したデータの情報量（データのサイズ）が最小になるように
ニューラルネットワークを調整していく手法を取る。
これにより、高次元データの分布や確率を損なわずに
次元削減ができるニューラルネットワークが得られるという。
富士通研究所は、
誤差が一定の条件で次元削減したデータの情報量が最小になるように調整すると、
分布や確率を損なわずに次元削減できることを数学的にも証明した。
この証明が、今回の手法を実現する際の最も重要なポイントになった。
今回のアイデアは、同社が長年研究してきた映像圧縮技術の理論を基にしている。
映像圧縮技術には、データの分布や確率を保ったまま次元削減できる
「離散コサイン変換」などの手法（次元削減変換）を使ったうえで、
元データと復元データの誤差を一定に抑えるように圧縮すると、
情報量が最小になるという理論がある。同社はこの理論を逆転し、
誤差を一定に抑えながら情報量が最小になるような次元削減変換を探せば、
それがデータの分布や確率を損なわない変換になると考えた。
■異常検知、世界最高精度を達成
富士通研究所が今回開発したオートエンコーダーを使って
異常検知の機械学習モデルを開発したところ、
世界最高精度を達成したという。
異常検知のベンチマークには、集積されたデータから有用な知識などを引き出す
「データマイニング」の国際学会「KDD」が配布する通信アクセスデータや、
米カリフォルニア大学アーバイン校が配布する
甲状腺数値データや不整脈データなどを使用した。
通信アクセスデータを使った不正アクセス検知では異常検知誤り率が28%改善し、
甲状腺数値異常の検知では誤り率が37%、不整脈検知では誤り率が9%改善したとする。
富士通は今回開発した技術をDeepTwinとの名称で2021年度に製品化する計画である。
今回の技術は高次元データの分布や確率をデータから正確に導き出すものであるため、
多変量解析などディープラーニング以外の統計手法にも応用が期待できそうだ。
