米国は成人のディープフェイクポルノを規制する法律のない地域があるため今問題になっていますが、日本では現行法でも違法です。合法だと主張する日本人がいますが、勘違いです。
肖像権侵害、名誉棄損、有名人ならパブリシティ権の侵害になり
被写体が18歳未満なら児童ポルノ禁止法でも違法になります。
わいせつ物頒布等罪に当たる場合もあります。
Photoshopでも動画編集ソフトでもAIでもCGでも、道具は何であれモデルがわかれば人を傷つけた罪を問われます。
問題は有名人ならすぐに気づかれても、一般人は誰かわからない場合が多く、気づいた時には時間がたっていて、ログの保存期間を過ぎていれば発信者の特定ができなくなることです。
発信者がわからなくても削除要請はできますが、プロバイダ責任制限法には削除義務がありません。表現の自由との兼ね合いで、法務省が民間企業に要請することは不適切と考えられています。削除要請してもおよそ3割は応じてくれません。海外のサイトに投稿されている場合は警察の捜査も難しくなります。そして一度削除されても次々とまた投稿され拡散が止まりません。被害者が解放されることはありません。業者に依頼すれば費用がかさみます。記事の最後に無料で相談できる窓口が紹介されていますのでご参照ください。
AI生成児童ポルノ（AICSAM)は現在モデルが特定されない限り罪に問えません。しかし実在のモデルがデータセットに含まれることは明白です。身体的特徴の一部で自分だとわかることもあります。人体を素材としている以上処罰すべきだと思います。時間がたってからモデルが特定される可能性もあります。
被害者に終わりのない苦痛を与える行為を「AIを通せば合法」と
増長させる現在の児童ポルノ禁止法には限界があります。
表現の自由の保護も必要ですから、児童ポルノとは別のディープフェイク（性的も含め人の判断を狂わせ混乱させる合成）禁止法で処罰すべきだと考えます。