「いや、99.9%は盛り過ぎでしょ・・・」
どうも、ねへほもんです。
久々にAIイラストの話題を。
1.LoRA製法最新版
最近はキュアマジェスティ登場、キュアスカイ生誕祭やウィクロスフェス用の名刺作成と、追加でLoRAを制作する機会が多く、「もう少し精度を上げたいなぁ」と薄々思っていました。
AIイラストの進化は日進月歩。一連のLoRA制作を終え、ひと段落着いた所で、新ネタは無いかと改めて情報収集してみました。
これは分かりやすい。
読む方が手早く多くの情報量を仕入れられることから、文字情報を中心に収集していましたが、動画の分かりやすさも捨てがたいと改めて感じました。
こちらに倣って以下3点に取り組んでみました。
・学習画像からキャラを切り抜いて背景を削除
・学習画像とLoRAの学習サイズを768×768に揃える
・Dimを128、Alphaは64に変更
2点目と3点目はLoRAの学習設定でいじれることは知っていましたが、軽く試して大して変わらんなと投げ出していました。
特に2点目は学習画像をリサイズする必要があり、面倒だなと放置したのもあります。
一番の手間は1点目の背景削除。
専用の画像編集ツールが必要だし、手間だし、以前別のサイトで調べたら「背景削除する人も居るけど過学習っぽくなるから必須ではない」って書いていたので試したことがありませんでした。
が、具体的に動画で学習画像の加工方法まで解説されていたので、これならやってみるかと試してみました。
動画ではPhotoshopが使用されていましたが、Photoshopを持っておらず、別のツールでも代用可能だったのでそちらを使いました。
・ABG Remover
Stable diffusionに追加できる拡張機能で、画像を読み込ませると背景を消して単色に変えてくれます。
普通は白背景なのですが、キュアプリズムの衣装が白で被ると学習に悪影響かも、と思いグレーにしました。
が、LoRAの学習に背景情報が反映されるようで、生成画像がグレーっぽくなってしまいました。
正解は透明背景でした。
透明があるのを知らんかった。丁度この記事を書いている裏で透明背景でLoRAを作成し直しています。
・ペイント3D
Windowsの標準アプリですが、丁寧に作るならコレが一番オススメです。
背景付きの画像からキャラだけを切り抜くと言いましたが、「そもそもキャラって何？」という問題があります。
ツールに切り抜け～って命令を出して、ツールの思うように切り抜かせても、保存された画像を見るとキャラが欠けているとか、背景が残っていることがあり得ます。
というか、ABG Removerで実際そうなりました。
そこまで過剰反応しなくても学習結果に大差ないのかもしれませんが、せめて推し位は妥協したくないと思いました。
で、このペイント3Dの利点ですが、↑の画像では、「マジック選択」で切り抜かせた所、足先の辺りが暗くなっていました。このままでは切り抜けないということです。
ただ、ここからが他とは違う。
切り抜き範囲を追加、もしくは削除することができます。
↑の画像だと、追加モードを選択した後、足先の辺りをクリックすれば切り抜き範囲を広げられます。
他のツールならフォルダを指定して、フォルダ内の画像を一気に切り抜けるように処理速度では見劣りますが、切り抜き範囲を選択しながら1枚1枚丁寧に加工できるのはペイント3Dならではかと思います。
後、ペイント3Dならではの加工ができるという例をもう1つご紹介します。
背景を無色透明とか、白一色だけではなく、自前の画像(↑だとノイズ)に差し替えることもできます。
これまた面白そうな記事を見掛けたので、ノイズ背景のLoRA学習にも挑戦してみました。
正直な所、生成画像にノイズが混じって頭を抱えているのですが、もう少し時間を掛けて研究します。
ノイズとControlnetを組み合わせるというワザが紹介されていたので、LoRAの学習がひと段落したら挑戦してみたい。
2.キュアプリズム成長の軌跡
「ひろがるスカイ！プリキュア」本編でも、失意に沈んだキュアスカイを復活させ、マジェスティクルニクルンの五人合体技を覚え、元敵幹部(バッタモンダー)と良い雰囲気になって僕の脳を破壊したりと、成長目覚ましいましろちゃんですが、僕のLoRAの仕上がりも順調に成長しています。
記念すべき一作目。
今見ると違和感しかありませんが、初めてのLoRAでそれっぽい雰囲気のキャラが出た時の喜びはひとしおでした。
LoRAの強化版？のLycorisを初めて導入した時の動画です。
「ましろちゃんと結婚したい」という僕の願望が忠実に表れており、Pixivのいいね数も最高という自他共に認める最高傑作です。
(まぁ、実際にはいいね数がそれより上のパンチラ画像があるのですが、あれは外道の別枠扱い）
多少の相違点はあれど、ここまで来れば立派なキュアプリズムと胸を張れるレベル、そう思っていました。
最新作です。
マジでビビりました。
見分けが付かない
こちらが本物(CDのジャケット写真)です。
顔立ちは勿論、頭のリボン＆ハート、イヤリング、両腕のリボンや首元、スカートのリボンや暗い部分のワンポイントと、衣装が細かく再現されています。
本物の静止画と互角の仕上がりですが、大量にコマ送りされるアニメのワンカットと比べたらAI生成の方が可愛いです。
顔立ちさえ似ていれば、服は自由に着替えるので問題ないキャラならどうでも良くとも、色々と装飾が施されたプリキュアでここまで再現できると非常に満足度が高いです。
ただ、再現度の高さだけが正義とは行かないのが機械学習の難しい所で、過学習してしまうと複雑なポーズや背景を入れると破綻しやすくなるという問題もあります。
見ての通り今回は、starry sky, aurora, full moonという簡単な背景情報のみをプロンプトに入れたため、再現度こそ正義状態でしたが、今後複雑な描き込みにも対応できるかはまだ不安があります。
LoRAの製法を見直したら再現度が上がった#キュアプリズム #AIart pic.twitter.com/0Ozkkl9yVI
— ねへほもん (@nehehomon) September 26, 2023
過去のPixiv投稿は全て1点勝負でしたが、今回は簡単なプロンプトでポーズ等を指定していない分、ガチャると良さげな仕上がりでパターンの異なるイラストが何枚も出てきたので、4枚分を細かく調整して投稿しました。
以上、LoRAの近況報告でした。
背景の切り抜き等、以前から存在は把握していたテクニックではありますが、動画で丁寧にやり方を解説され、学習成果を見せつけられると実践したくなるというもの。
まだまだ試したいテクニックやイラストの案は尽きないので、今後も色々と挑戦しようと思います。
では(^^)/