どうしても、二次元絵を実写風にしたらどうなるんだろう？とか、実写で観てみたいという欲望があったりします。
そこで、二次元モデルを学習したLORAを実写風モデルで生成して、比較してみました。
LORAは、
スパイ教室から「リリィ」
お隣の天使様から「椎名 真昼」
転生王女と天才令嬢の魔法革命から「ユフィリア」
のLORAを使い比較してみます。
今回、比較してみる実写モデルは
・basil mix 元祖モデル
・braBeautifulRealistic_v40 最近話題のモデル
・chilloutmix_NiPrunedFp32Fix これも人気のモデル
・goodAsianGirlFaceV12 かわいい女の子が生成できると評判
・luckyStrikeMix_V02Realistic 定番のモデル
・museV1_v1 モデルまとめにも載っているモデル
・realdosmix 幅広く人気なモデル
・cityedgeｍix_v125 最近みつけたカワイイ女の子が描けるモデル
使用モデルとLORA以外の変更はありません。Seed値も揃えました。
ベースは、前回ブログにあげたデータをそのまま使います。
二次元での使用モデルは「anythingV3_fp16」VAE「kl-f8-anime2」
512×768で出力し、Hires.fixで2倍の1024×1536にしています。
Batch count、Batch size共に1で一発勝負です。
比較は5段階評価で、
・顔の再現性
・服飾の再現性
・二次元絵との比較
・リアルらしさ
・総合評価
で見ていこうと思います。
あくまでも個人的な意見なので、異論は認めますよ。
①スパイ教室「リリィ」
使用LORA
lily_spykyoushitsu_dim8resize_v1 重さ：1.0
トリガーワード：lily_olis
付帯呪文：black shirt, neck ribbon, suspenders, high-waist skirt, black skirt, black pantyhose
二次元 anythingV3
basil mix braBeautifulRealistic
・顔の再現性★★★☆☆ ・顔の再現性★★☆☆☆
・服飾の再現性★★★☆☆ ・服飾の再現性★★★☆☆
・二次元絵との比較★★★☆☆ ・二次元絵との比較★★★☆☆
・リアルらしさ★★★★★ ・リアルらしさ★★★★★
・総合評価★★★☆☆ ・総合評価★★★☆☆
さすがにbasilは元祖だけあって、なかなか高い再現性です。服の色も二次元に近いが、スカートの白線が2本なのが惜しいところ(オリジナルは1本線)。
BRAは、モデルの女性が大人な感じで子供っぽさがないですね。髪も全体的にボリュームがなさすぎるです。
chilloutmix goodAsianGirlFace
・顔の再現性★★☆☆☆ ・顔の再現性★☆☆☆☆
・服飾の再現性★★★☆☆ ・服飾の再現性★★★☆☆
・二次元絵との比較★★★☆☆ ・二次元絵との比較★★★☆☆
・リアルらしさ★★★★★ ・リアルらしさ★★★★★
・総合評価★★★☆☆ ・総合評価★★★☆☆
chilloutは出力された瞬間、男が女装してるんじゃないか？とビックリしました(笑)。
やっぱり髪の色で顔が西洋人っぽくなってしまうんですね。服ではスカートの線が2本と、サスペンダーがないので減点。
goodAsianのほうは、顔がカワイすぎる～。がっ、背が高いですね～。cute、beautifulなどで、普通に生成すればかなりカワイイ女の子が出力できそうですね。LORAにも負けない学習量なんですかね。
luckyStrike museV1
・顔の再現性★★★★☆ ・顔の再現性★★☆☆☆
・服飾の再現性★★★★★ ・服飾の再現性★★★☆☆
・二次元絵との比較★★★★☆ ・二次元絵との比較★★★☆☆
・リアルらしさ★★★☆☆ ・リアルらしさ★★★★★
・総合評価★★★★☆ ・総合評価★★★☆☆
LuckyStrikeはウォ～！と思いましたけど、よ～く見ると顔がdollっぽく見えるんですよね。
でも実写版リリィってこんな感じでドンピシャですね。服飾も二次元とほぼ変わらず、高評価です。museのほうは、chilloutと同じく西洋人っぽい顔になりましたね。というか、月の大きさが違うだけで、chilloutとほぼ一緒なのは、museがchillout系だからですかね。
realdosmix cityedgeｍix
・顔の再現性★★★★☆ ・顔の再現性★☆☆☆☆
・服飾の再現性★★★★☆ ・服飾の再現性★★★☆☆
・二次元絵との比較★★★★☆ ・二次元絵との比較★★★☆☆
・リアルらしさ★★★★☆ ・リアルらしさ★★★★★
・総合評価★★★★☆ ・総合評価★★★☆☆
RealDosmixはすごいですね。でもやっぱdollっぽさが出てしまいます。VAEが840000じゃないからかもしれません。LuckyStrikeとリサイズする前の解像度で比べると、こちらのほうが服にリアルさが足りません。CityEdgeは、がんばっている感じはするんですが、サスペンダーの色が違うところが目立ちますね。しかし胸のあたりを見ると、某国の大学教授が発狂しそうな模様が出てます(笑)。
リリィ編 総評
LORAの学習力が反映されるか、モデルの学習力が勝るかって感じですね。東洋人系を強化しているモデルは相当な学習をしていると思います。やはり二次元の顔に寄せすぎるとdollっぽくなるのは、しょうがないのかなと感じました。
リリィ編での順位は
1位：LuckyStrike 4.5点
2位：RealDosmix 4.0点
3位：BasilMix 3.5点
こんな感じでしょうか。
次回は、椎名 真昼編です。