私は、自分のノートパソコンで、Stable Diffusion web UI(AUTOMATIC1111版)を使いMOV2MOVで、自分のダンス動画をアニメ化していました。
こちらに、公開しています。
10フレームで作らないとエラーが出やすいという記事を読んだので、10フレームで1本作ったのですが、後の2本は設定を変えるのを忘れてしまい普通に30フレームで作っていました。
でもエラーは、出ませんでした。
画面サイズは、小さいです。
1024pxの画像では、VRAM6GBでは、動画を生成することができないです。
入力する画像は、大きくても良いです。
でも出力する画像は、元動画の半分のサイズが良いみたいです。
こちらの動画は、10フレームの動画です。
クリエイターm168の投稿動画を楽しみましょう!#TikTok https://t.co/eo2xaY8oJo
— エンジニアM168 (@masaru21) April 4, 2024
こちらの2つが、30フレームです。
クリエイターm168の投稿動画を楽しみましょう!#TikTok https://t.co/vX0l2At4fV
— エンジニアM168 (@masaru21) April 4, 2024
クリエイターm168の投稿動画を楽しみましょう!#TikTok https://t.co/TOBqeMba4R
— エンジニアM168 (@masaru21) April 4, 2024
服に一貫性を持たせることができると良いのですが、Stable Diffusionのmov2movでは、厳しいようです。
MagicAnimateのデモページで作った動画は、こちらです。
やはり自分でGoogle colab(正式名称 Colaboratory)の有料プランで性能の良いGPUを使うか、VRAM16GB以上のグラフィックボードを搭載したパソコンを使って生成したいと思いました。
高精細の静止画を使うことで、顔と手の崩れも抑えることができると思ったのです。
ですがネットで見つけた記事では、自分が作ったポーズでは、動きが早いときは崩れやすいという記事がありました。
基になる動画をいかにきれいに作ることができるかも、勝負のようです。
Viggleは、沢山あるダンスポーズの中から選んで、動画を作ることができます。
また、video2videoのサービスを提供している会社も増えてきましたので、そうしたサービスを使うと自分のダンス動画をアニメ化してもきれいに仕上げることができると思います。
DomoAIは、video2videoを使うときは、有料プランを使う必要があると分かりました。
テレビ局も採用しているという話をXのポストで知りました。
私は、Gen-2を利用できますが、有料プランを利用していないので、Gen-2で利用できる機能を思うように活用できていないです。
こちらのウェブサイトは、新しく知りました。
1日100クレジットもらえるので、毎日ログインしようみたいな表示がありました。
静止画で動画を作ることができるサービスもありますが、決まったポーズを選択したり、プロンプトで指示したりするので、自分が踊ったダンスの振り付けや自分のポーズをアニメーション風に変換するようなことができるサービスは、無さそうです。
一枚ずつ静止画を基に、人物や服装などの特徴に一貫性を持たせてポーズを変えて画像生成できたら、1プレーム毎に画像を作り本当のアニメーションを作るように、パラパラ漫画を作るような要領で作ることが、一番画質が良くなるように思います。
でも、今度は、ポーズを決めて画像生成することが大変です。
今の技術では、高価なパソコンを買うかGoogle colab(正式名称 Colaboratory)の有料プランを契約するしか方法は無いと思います。
決まったダンスやテンプレートとして素材が提供されている中で選んで動画を作るなら、先にご紹介したウェブサイトを利用して安価に制作できると思います。
一応レンティオという家電などのレンタルを提供している会社で、ゲーミングパソコンのレンタルを利用できることを知っています。
でもVRAMが16GBある機種は、在庫切れになっているので人気があるようです。
Thunderbolt 3 または 4 に対応したパソコンでしたら、下記のeGPUやGPU BOXと呼ばれるノートパソコンでも外付けでGPUを使う方法もあります。
グラフィックボードの電源の容量やサイズを確認して、GPU BOXを選んでください。
予めグラフィックボードが搭載されているGPU BOXも、あります。
デスクトップパソコンの場合は、RTX3090がVRAM24GBあるので、お勧めかもしれないです。
RTX4090と同じVRAM容量なので一つ前のグラフィックボードですが、VRAM容量が魅力的です。
ヤフーショッピングで、掘り出し物が見つかるかもしれないですね。