AIダンス動画ですが、下記のウェブサービスで、簡単に作ることができます。
でも、ダンスが4種類しか選ぶことができません。
もっと多くのダンス動画を作りたいときは、こちらのサイトを使うと良いです。
このViggleの使い方は、こちらの記事が、分かりやすいです。
VIGGLE AI アプデ!ダンス動画のクオリティ大幅向上で注目間違いなし! https://t.co/ITVkWz3Ntv
— エンジニアM168 (@masaru21) March 23, 2024
私も動画を作ってみました。
試してみました。ダンスの種類が多いので、すごいです^^
— エンジニアM168 (@masaru21) March 23, 2024
VIGGLE AI アプデ!ダンス動画のクオリティ大幅向上で注目間違いなし! https://t.co/ITVkWz3Ntv https://t.co/ITVkWz3Ntv pic.twitter.com/FtflHLxxiC
但し今TikTokで流行っている猫ミームなど試したい振り付けのダンスはこうしたウェブサービスでは、作ることができないのです。
自分で好きな振り付けのダンスをAIアバターに踊れらせるためには、こちらMagic Animate(マジック・アニメイト)という動画を生成できる学習モデルを使う必要があります。
Magic Animateの利用は無料で、商用利用も可能です。
ただし、動画を生成する際には時間がかかる場合があるので、少し待つ必要があります。
もしエラーが発生した場合は、アクセスが集中している可能性があるため、時間をおいて再度試してみてください。
また、ローカル環境でMagic Animateをセットアップする方法もありますが、これには12GB以上のVRAMが必要で、インストールには時間がかかります。
Magic Animate の使い方: AIで画像を動画にする方法|猫の手も借り隊 | 生成AI研究者 @neko_task_force #note https://t.co/p8qHcQv6uT
— エンジニアM168 (@masaru21) March 23, 2024
こちらの記事も、役立ちます。
この中で、Magic Animateが紹介されています。
【TikTokのAIツールまとめ】AIを使って鬼バズる投稿を大量に作る方法10選 https://t.co/keywdEBmCO
— エンジニアM168 (@masaru21) March 23, 2024
ただ下記のURLのデモページで無料でダンス動画を静止画から作ることができますが、選択できるダンスが少ないです。
そのため使いたいダンス動画を、DensePoseフォーマットの画像に変換する必要があります。
Vid2DensePoseというビデオを、DensePoseフォーマットに変換するAIツールを使います。
【Vid2DensePose】人間の動きをAIにコピーさせられるMagicAnimate専用ツールを使って、ダンス動画を作成してみた https://t.co/X5i6qpatBU
— エンジニアM168 (@masaru21) March 23, 2024
このVid2DensePoseをローカル環境にインストールする方法は、こちらの動画を見てください。
動画からdenseposeを作成するvid2denseposeのローカル環境へのインストール方法 https://t.co/hPeHRLsx2i @YouTubeより
— エンジニアM168 (@masaru21) March 23, 2024
Magic Animateをローカル環境にインストールしたい人は、こちらの動画を見てください。
ワンクリックで画像が踊りだす Magic Animateのローカル環境構築の方法 https://t.co/pxxTdnKVFU @YouTubeより
— エンジニアM168 (@masaru21) March 23, 2024
Vid2DensePoseは、VRAM6GBの環境でも使えますが、Magic Animateは、最低12GB以上のVRAMを搭載したグラフィックボードが必要です。
ノートパソコンの場合は、GeForceのRTX4080以上が必要のようです。
デスクトップパソコンの場合は、RTX3060以上でVRAMが12GB以上のグラフィックボードを搭載した機種を使ってください。
パソコンを購入してローカル環境でマジックアニメイトを使うことが難しい場合は、MagicAnimateをGoogle Colabで使う方法を試すのもおすすめだと思います。
ただし画像生成でGoogle Colabを使う場合は、有料プランのGPUを選択しないと利用できなくなっています。
静止画を生成する場合は、一ヶ月約1000円のプランでも良いと思いますが、動画の場合は、さらに上の料金プランを利用した方が良いと思います。
こちらの記事を、参考にしてみてください。
『MagicAnimate』をGoogle Colabで使う方法。AI美女ダンス動画を簡単に生成可能 https://t.co/FuPSAMFpL6
— エンジニアM168 (@masaru21) March 23, 2024
Google Colabでダンス動画をVid2DensePose使って、DensePoseに変換できます。
下記のリポジトリのページで、Vid2DensePoseのところにあるGoogle Colabをクリックしてください。
Google Colabで開いたら、コピーして使ってください。
それからDensePoseは、5秒未満で作ってください。
5秒を超えるとエラーになります。
使用する静止画と動画の縦横のサイズは、同じにしてください。
サイズが異なると生成された動画で、AIアバターが変形してしまいます。
下記のデモページで、躍らせたい静止画とDensePoseファイルをアップロードすると、ダンス動画を生成できます。