日経ＢＰシリコンバレー支局の中田 敦さんが、「ディープラーニングにもセキュリティ問題」と伝えている内容が興味深い。
データからルールを導き出す「訓練」に使用するデータに不正なものを紛れ込ませたり、認識に用いるデータにある種のノイズを加えたりすることで、AIに誤検出させようとするもので、AIの信頼性に関わる問題だけに、米Googleなどが対策に動き出しているらしい。
機械学習ベースの画像認識技術に対する攻撃手法には、「アドバーサリアル・エグザンプル（Adversarial Examples）」や「トレーニングセット・ポイズニング（TrainingSet Poisoning）」などがあるという。
アドバーサリアル・エグザンプル攻撃は、モデルに認識させる画像（エグザンプル）にある種の「ノイズ」を加えることで「アドバーサリアル（敵対的な）・エグザンプル」とし、画像の被写体を誤認識させる攻撃手法らしい。
例えば、自動運転車に交通標識を誤認識させる攻撃が有りうるという。
トレーニングセット・ポイズニング攻撃は、データを元に画像認識モデルを導き出す訓練（トレーニング）の課程を狙った攻撃で、教師データに誤ったタグを付与した画像を紛れ込ませることで、被写体を誤って認識する画像認識モデルを作らせてしまうものらしい。
一方で、そうした攻撃からAIを防御する手法の開発も進んでいるようで、例えば、Googleはアドバーサリアル・エグザンプル攻撃を防ぐために「Cleverhans」というソフトウエアライブラリーを公開している。
ＩＴ起業研究所ITInvC代表 小松仁
