このブログのタイトルでもあるウサコッツ、写真はそこそこあるんですが、動いている様子、動画が少ないんですね。今思うと、動画もう少し取っておけばよかったなって思います。
そんなこと考えていた昨今、「Runway」というサービスを見つけました。これ、別に死んだペットをよみがえらせるサービスとかではないんですが、写真をAI解析し、在りし日のお写真の中のペットを動かすことができる可能性を秘めたサービスです。
機能について説明するとこんな感じです。
写真から動画を生成、Image to Video機能
これは写真を１枚アップロードし、これに対してこの写真をどう動かしてほしいか、カメラワークはどうするのかを指示すると動画を作ってくれます。Gen-2は無料ですが、あんまり思い通りのものは作れませんし、５秒の動画しか作れません。
これに対し、有料会員向けのGen-3 Alphaは、もう少し精度の高い動画を５秒か１０秒を選択して作成することが可能です。
セリフと合わせた口パクができる、リップシンク機能
まだ使ってはいませんけど、オーディオクリップをアップロードまたは録音することで、声と映像のシンクロを実現できます。ただ１０秒の動画しか生成できないので、これを活用するシーンが思いつかない・・・。
実際に使ってみた
ではここからはウサコッツの実際の写真を動かしてみたものをまとめた動画を掲載します。
しかしながら、実在の動物を動かすのは苦手な印象を受けました。人物はうまく動きますね。
今後の課題
写っている人を動かさなければ問題ないのですが、日本人を動画にしようとすると、大きく動かすと何故か知らない欧米人になったりします。これは同じく生成AIのStableDiffusionなどでもありましたが、このAIをトレーニングしたデータが欧米人ベースなんでしょうね。
まとめ
私が意図したような、ペットロスを癒したりするような用途には使えそうにないですね。
ただこの１０秒をつないでいってオリジナル動画を作るなどはできますが、これまで他の生成AIなども触っている私からすると、このAIでは人物を固定できないので、風景動画を多く作ってつないだり、わざと顔を移さないアングルでの映像を作成したりすればオリジナルの動画も作成可能だとは思いますが、まだライセンス購入してまで使用するサービスでもないように思います。