今まで生成AIで動画を生成したいと思っても、VRAMの容量が少なくて諦めている人も多かったと思います。
私が今回知った”Stable Diffusion WebUI Forge”を利用すると、VRAM6GBのRTX3060 laptop搭載のノートパソコンでも、動画の生成が出来ることを確認できました。
但し画像サイズは、576px＊576pxと小さいです。
1024pxのサイズの動画を生成したい場合は、やはりVRAMが16ＧＢ以上必要です。
”Stable Diffusion WebUI Forge”は、VRAMが少ない時に、効果を発揮するようです。
VRAMが16GBや24GBの時は、効果があまりでないようです。
そのためVRAMが１６GB以上ある時は、通常の方法でStable Video Diffusionを使うと良いと思います。
Stable Diffusion web UI(AUTOMATIC１１１１版)を既に使っている場合は、使用している学習モデルをStable Diffusion WebUI Forgeで使えるように、設定できる方法もあります。
私の場合は、下記のコラムで紹介されているファイルを使って、簡単にインストールしました。
そして記事の説明とは違い、学習モデルも自動でインストールできました。
そのため直ぐに、画像を生成できるかテストすることができました。
今回生成できた動画は、こちらです。
元の静止画は、リートンで生成しました。
１４フレームで生成した画像は、こちらです。
Stable Diffusion WebUI Forgeで、#SVD のタグがあったので、もしかしてと思い、１４フレームのSVDの学習モデルをダウンロードして試してみました。無事に、動画できました。VRAM6GBでできたので、次に２４フレームで試してみます。#Forge pic.twitter.com/hx4F4ZzRS4
— エンジニアM168 (@masaru21) February 15, 2024
２４フレームでも、生成できました。
Stable Diffusion WebUI Forge でVRAM6GBでも576pxなら、２４フレームでも動画できました。しかも、瞬きしています。 pic.twitter.com/yaESBLDBaW
— エンジニアM168 (@masaru21) February 15, 2024
こちらの記事を参考にしました。
【西川和久の不定期コラム】VRAMが少ないGPUで画像生成AIを諦めていた人に。「Stable Diffusion WebUI Forge」登場！ https://t.co/emYsYRmsut pic.twitter.com/NqOFuinSTm
— PC Watch (@pc_watch) February 13, 2024
学習モデルの配置です。
webui\models\svd
私は、外付けのSSDで、Stable Diffusion web UI(AUTOMATIC１１１１版)やStable Diffusion WebUI Forgeを使っています。
RTX3060 laptop搭載のノートパソコンで、内蔵ストレージの空き容量が十分にないときは、外付けSSDも検討されるのも良いと思います。
