MIT Technology Reviewの「生成AIにアーティストが反撃、汚染データでモデルを壊す新技術」を読んでいて、気になったところをまとめます。
・生成AIにアーティストが反撃、汚染データでモデルを壊す新技術
AIによる画像の無断利用にアーティストたちが対抗する新たなツール「Nightshade (ナイトシェード）」が開発されました。
アーティストはNightshadeを用いることで、自らの作品中のピクセルに対して、人間の目には見えないものの、生成型AIモデルが「無秩序」かつ「予測不能」なかたちで破綻するような変更を加えられるようになるという。
・Nightshade (ナイトシェード）
- アーティストがこの新しいツールを使用すると、自分の作品をインターネット上にアップロードする前に、作品内のピクセルに対して目に見えない変更を追加できる。
- 企業が、この変更を加えた作品を収集し、生成AI（ジェネレーティブAI）の訓練に使用すると、AI学習モデルが無秩序で予測不可能な状態に破壊される可能性がある。
- 大規模AIモデルのデータセットは数十億もの画像で構成される場合があるため、より多くの汚染画像がモデルの訓練用に収集されるほど、同手法が引き起こすであろうダメージはより大きくなる。
・Nightshade レポート
開発者チーム：シカゴ大学のベン・ジャオ教授
ナイトシェードは、生成AIモデルのセキュリティ脆弱性を利用している。
つまり、生成AIモデルが膨大なデータ（この場合はインターネットから取得された画像）に基づいて訓練されるという事実を使っている。ナイトシェードは、訓練用画像を使い物にならなくする機能を持つ。
例えば、犬のことを実際には猫だと学習させ、その結果としてテキストプロンプトとは一致しない誤った画像をモデルに生成させることができるようになる。
今回の研究論文によると、Nightshadeの毒サンプルは100サンプル未満で「Stable Diffusion」を破綻させることができたという。
・関連記事
「Nightshade」登場！AI学習を阻害する新技術と著作権保護の新しい道
Meet Nightshade, the new tool allowing artists to ‘poison’ AI models with corrupted training data