どんな「ヘイトスピーチ」も見逃さない人工知能、ヤフーが開発

ネット上のコメントにヘイトスピーチが含まれているかどうかを正確に識別できる「罵り検知アルゴリズム」をヤフーが開発した。ヤフーのアルゴリズム（PDF）は、テストケースの90パーセントで罵りコメントを正しく識別することができた。論文によると、ディープラーニングなどの「最新式」の手法よりも性能がいいという。

現状では、罵り言葉を検知するプログラムはそのほとんどが、コメントに含まれるヘイト的な語句を探し出す仕組みになっている。ヘイト投稿によく使われる特定のキーワードがコメントに使われていたら、アルゴリズムがそれを「罵り」だと判断し、コメントを自動的に削除するか、モデレーターに転送して確認をする。

しかしこのようなキーワードに基づくシステムは、微妙な種類のヘイトスピーチをとらえるのが得意ではない。荒らしが曖昧な罵り言葉を使う場合はフィルターをすり抜けてしまうし、これといった罵り言葉を含まないヘイト投稿もありうる。

また、従来のアルゴリズムは、辛辣なコメントを罵り言葉だと間違えてラベリングする可能性があるし、ヘイトの新しい表現を認識できないことがある。文法的に正しい英語で書かれている、という理由で荒らし投稿を見過ごしてしまうこともある。