AnimateLCMを知りました。
ローカル環境で、動画を生成できるソフトウェアです。
#AnimateLCM についてhttps://t.co/MOi2IZan8p
— エンジニアM168 (@masaru21) February 10, 2024
【西川和久の不定期コラム】 高速な動画生成AI「AnimateLCM」登場!そしてStable Video Diffusion 1.1も試した https://t.co/DRVp0GwdeM
— エンジニアM168 (@masaru21) February 10, 2024
こちらは、Microsoft Copilotに質問して得た回答を転載しました。
AnimateLCMは、ビデオ生成技術の新たな可能性を開くツールとして注目を集めています。その高速なビデオ生成能力と、画像生成と動き生成の蒸留を分離することで一貫性学習を行う独自のアプローチにより、訓練効率が向上し、生成視覚品質が向上します。
AnimateLCMは、事前学習された画像拡散モデルを蒸留してサンプリングを最小のステップで加速する一貫性モデル(CM)と、条件付き画像生成におけるその成功した拡張である潜在一貫性モデル(LCM)に触発されて提案されました。² これにより、現実的なアニメーション、アニメ、3Dカートゥーンなど、さまざまなスタイルのアニメーションを生成することができます。
AnimateLCMのインストール方法やモデルの実行手順は、GitHubのレポジトリに記載されています。
また、Hugging Faceのページでは、AnimateLCMのデモを試すことができます。
要約: AnimateLCMは、高速で高品質なビデオ生成を可能にするツールです。画像拡散モデルを蒸留して一貫性学習を行い、さまざまなスタイルのアニメーションを生成します。GitHubやHugging Faceで詳細を確認できます。
------------------------------------------------------
動画のサンプルの紹介で、USB4 GPU Box接続のGeForce RTX 3090を使った動画を紹介する記述がありました。
ノートパソコンでも、グラフィックボードを外付けできる方法があります。
でも対応しているノートパソコンのスペックは、厳しいものがあります。
私は、Stealth 15M B12UEというMSIのノートパソコンを使っています。
でも、Microsoft Copilotが、eBOXは、Thunderbolt 3またはThunderbolt 4のポートが必要ですが、このノートパソコンには、USB3.2 Gen2 Type-Cのポートしかありません 。と教えてくれました。
実際に、MSIのウェブサイトで確認しました。
Thunderbolt 3またはThunderbolt 4のポートが必要
グラフィックボードは、中古を探すのも方法かもしれないです。
Thunderbolt 3またはThunderbolt 4のポートがあるノートパソコンを使っている人で、CPUが対応していたら外付けのGPU BOXを使って、Stable Diffusionなどを使って動画を生成するのも良いかもしれないです。
VRAMは、生成する動画のサイズとフレームレートに関係します。
小さい動画でもスケールアップできたら、VRAMの少ないノートパソコンでも活用できるかもしれないです。
こちらが一般的な目安です。
512x512の解像度で10fpsのビデオを生成する場合:4GB以上のVRAMが必要です。
1024x1024の解像度で10fpsのビデオを生成する場合:8GB以上のVRAMが必要です。
512x512の解像度で30fpsのビデオを生成する場合:8GB以上のVRAMが必要です。
1024x1024の解像度で30fpsのビデオを生成する場合:16GB以上のVRAMが必要です。
実際に見るに堪える動画を生成するためには、VRAMが8GB以上必要だと思います。
ただStable Diffusion で動画を生成する場合は、768px以上のサイズの画像生成は、厳しいようです。
Stable Diffusion web UI(AUTOMATIC1111版)で動画を生成する場合も、8GB以上が推奨だったと記憶しています。
また外付けのストレージも、1TB以上のものを動画生成AI用に準備されると安心だと思います。