AiイラストのStable Diffusionの革命的な高速化手法である、LCM-Loraが出ましたが、欠点も多いので、ちょっと検証してみました。
(11/30追記:類似手法の本家版のSDXL TURBOと、turboのloraが出ました。後日調べます。）
と言う訳で本記事は、LCM-Loraの所感や振る舞い、WebUI(A1111)での使い方に関してです。
①実際に使った場合の振る舞いですが、 生成速度は3倍速を狙えますが、結構絵柄が変わりますね。
(24/01/14:画像を差し替えました。)
アニメ系モデル2種＋実写系モデル1種で、仮プロンプトで味見しましたが、上の様に絵柄がかなり変化しますね。
(個人的には、モデル毎にモデル別LCM-Loraを作れば、もうちょっと似ると思いますが…)
(11/30追記:cfgは7と1です。もうちょとcfg振ったパターンも後日検証します。）
ちなみに、LCM-Loraの実生成時間が10step=5sec(1.95it)
通常版として、DDIMで42stepとして実生成時間が16sec(2.66it)
って感じで、確かに3倍速は出そうです。
②既存のLCM-Loraを使い、設定で何とかもうちょっと似ない?かと、一番似てないく感じた「Counterfeit XL」に対して、LCM-Lora強度を100%(1.0)~0%(0)に変更して、挙動を確認しました。
ですが結果は微妙です。
(24/01/14:画像を差し替えました。)
・私的な結論としては、リアルタイム生成や動画生成ならば、高速化の効果が絶大なので十分メリットがあります。
ただし、素のイラスト生成には微妙、と言うのが結論です。
後日書きますが、Kritaと言うイラストソフトにSDでのi2iなどがアドオンで搭載されており、そのようなリアルタイム生成の場合、絶大なメリットが有ると考えています。
③WebUIでの使い方。
1:LCM-Loraのオフィシャルは下記で、1.5用かXL用を落として、Loraのフォルダに入れてください。
latent-consistency/lcm-lora-sdxl · Hugging Face
2:LCM-Loraを使う場合はSamplerを専用の物にすべきです。
(専用Samplerで高速化と思ってましたが、DDIMより遅かったです。
また専用以外はゲジゲジになり易く、何を検証してるか解らなく成りがちでした)
GitHub - light-and-ray/sd-webui-lcm-sampler: LCM Sampler for sd-webui
3:samplerをLCM-Testに変更し、CFGを1に設定して、Stepを1/3~1/4程度に設定ください。
4:プロンプトに下記を記載ください。(Loraとして表示されない様子)
<lora:pytorch_lora_weights:1>
以上です。