顔専用Loraを作る事はできたがマイクを持たすような画像の場合、
顔が上書きされてしまいマイクが欠損してしまう問題を確認。
これを回避するためにADetailer側のプロンプトを調整したが
これが非常に難しい事を感じて断念。
じゃあ、、、
ベースモデルがあの子だったら問題無いじゃん！
って事でベースモデルを作ってみようと決断する。
しかしググってもあまり情報が無い、、いくつか見つけた情報を元に
挑戦してみる事に。
まずはLoraと一緒で素材が必要。
今回顔特化にしてしまうとクローズアップの画像しか作らないベース
モデルになってしまうのでボディをある程度含めた画像を用意する。
でもそんな調子良く顔が綺麗に写っててボディを含んだ画像を
30枚やら40枚用意するのは意外と難しい、、、
という事で
素材画像をStable Diffusionに作らせよう！
その為には先に作成した顔特化Loraを活用する事にした。
顔特化LoraをADetailerのプロンプトに入れて兎に角いい感じの画像30～40枚を
集めてみる。
ここでは具体的なステップを記録する。
なおこの備忘録で見せている素材は著作権の問題があるため
本来目的としている子ではなく私がオンラインゲームで
デザインした自キャラとした。
これも著作権の問題がある！って言われると困るのでこのデータを
一度別のベースモデルでトレーニングしてLoraにし、その素材で
作った画像をさらに別ベースモデルでトレーニングしたLoraから
スタートする。
つまり、、、
- ゲーム内のスクリーンショット画像を30枚ほど集める
- 顔特化Loraとしてトレーニング
- 作った顔特化Loraで画像を作成しよさげなものを30枚ほど集める
- 顔特化Loraとして再度トレーニング
ということ
これで作った画像がコレ
同じゲームをしている人からするとなんとなく予想がついてしまいますが
2.5D風の女の子が完成。
なおこの画像を作った時のベースモデルは有名なChilled Remix。
これで角度が多少異なる顔の画像を作りまくる。
なお、真横の顔とか作ったほうが良い的なコメントを良くLora作成の
ページで読むが私が目指す画像は真横なんて別にいらないので
難易度高い画像を作らなかった。
ちなみに↑の画像ではリアル感が無かったので作りまくった画像を
再度Chilled RemixをベースにしてLoraトレーニングを行って
以下のようによりリアル感のあるキャラ画像を30～40枚ほど作成した。
よし、準備完了。
次はこの画像を元にベースモデルを作ってみよう。