＊リンクが多いため画像は省略し赤字で表示しています。
2022年5月、ドイツの非営利団体LAION（Large-scale Artificial Intelligence Open Network）が50億5000万の画像とテキストのペアを収めたAI用トレーニングデータセットLAION-５Bをリリースしました。これらの画像とテキストはネット上のデータを提供するコモン・クロールのファイルを解析し、類似性の高い画像とテキストのペアを抽出するという手法で収集されており、製作者も中身を正確に把握することはできません(人間の目で確認できる量ではありません）。人間がキュレーションしていないため、ネット上の有害なコンテンツが含まれていることは自明でした。ゆえに商業製品の作成に使用することは推奨しないと免責事項に書かれていますが、利用者には無視されています。
トレーニングデータセットとは、機械学習モデルを構築するために用いられる学習用データセットのことです。
人気の画像生成モデルStable DiffusionはLAION-5Bを使用して製作され、Midjourneyも使用しているといわれています。
そのトレーニングデータセットに有害なコンテンツが含まれているために有害なコンテンツの生成に利用され、問題を引き起こしています。また著作権者の許諾を得ずに多数の著作物を使用していることも「フェアユースではない」という批判を浴び、複数の訴訟を起こされています。
StableDiffsion3は初めてオプトアウト要請に応じて製作されたモデルです。それまでの経過を簡単に辿ってみます。
2022年9月、Spawningが開発したHaveIbeenTrainedという検索サイトが導入され、LAION-5B内のデータをキャプションと画像で検索できるようになりました。多くのアーティストはそれまで自分の作品がすでに使われていることを知りませんでした。12月、SpawningはStabilityAIと協力しStable Diffusionv3のトレーニングからデータをオプトアウト（除外）要請できるようにしました。
2023年5月30日、Hugging FaceやStability AIを含むAI研究者やパートナーのネットワークにai.txtファイルで設定されたパーミッションの伝達を開始、オプトアウト要請が伝えられるようになりました。
LAION-5Bに有害コンテンツが含まれていることは自明のため、HaveIbeenTrainedは最初からLAIONのNSFW分類器を使い、キャプション検索結果に「Not Safe for Work」（NSFW）コンテンツが表示されないようにブロックしていました。404が多いのはそのためです。享受目的での検索も想定していました。
12月David Thiel率いるスタンフォード大学インターネット観測所のグループは、LAION-5Bで発見されたCSAM（児童性的虐待素材）の場所を特定し、削除する方法を明らかにした論文を発表しました。この論文を受けてSpawningもHaveIbeenTrainedを停止し、スタンフォード大学のチームが特定した画像にアクセスできないようにしました。CSAMは削除し、LAION-５Bも公開を停止しましたが未確認の素材が残っている可能性があり、C3PやPhotoDNAと協力して、テキストと画像のデータセットを大規模にレビューする方法を開発しています。
画像検索と重複検出機能は、クリエイターがオンラインで自分の作品のコピーを見つけやすくするために導入しましたが、データセットのレビューが終了するまでこれらの機能を削除し、CSAMを検索しにくくしました。
それらの対策を講じた上2024年2月にHaveIbeenTrainedを再開しました。
2024年6月現在、LAION-5Bはまだ非公開です。有害な素材の確認、除去は終わっていません。
2月23日、Stable Diffusion 3のリリースが発表されました。Stable Diffusion 3とStable Cascadeは、SpawningのDo Not Trainレジストリでオプトアウトされた画像をトレーニングデータセットから削除しました。オプトアウト要請が通りました。
それについてはひとまず評価したいと思います（有害コンテンツが完全に削除されたとはいえない状態ですが）。
それが性能にどう影響しているのかは、直接使用していないため詳述できません。しかし使用者のレビューを見る限りでは、文字と画質、速度の評価が高く、肯定的に受け入れられているように見えます。一方人体が崩壊しやすい、NSFWコンテンツを意図的にコントロールしようとした失敗作、上から圧力がかかったらしいという批判もあります。
それは Spawningと協力してオプトアウト要請を尊重しLAIONのNSFWコンテンツ削除も進んでいるのでその影響だと思います。
ライセンスは無料と有料に分かれ、無料は商用利用不可、個人向けの有料ライセンス(クリエイターライセンス）は商用利用が制限されます。利用規定に反する児童の性的搾取、非同意性的画像や違法なポルノコンテンツ、また政治広告、宣伝、または影響力のあるキャンペーンの作成も規定違反、商用利用できません。
ポルノコンテンツの商用利用ができないのは良いと思います。
悪用されている旧ヴァージョンについても対策を望みます。