3DCGキャラクターがリップシンクで歌うシーン作成
これまでにもDAZ STUDIOでMimic Liveというリップシンク
プラグインを使ってモデルが歌っているシーンを作成して
きましたが、歌詞と口パクを違和感なく同調させることは
できませんでした。
１つは、歌声だけではなく演奏楽器の音が流れているため
楽器の音までもMimic Liveが拾ってしまっていること、
音が無い通常の会話でも、リップシンクプラグインは、
そもそも海外圏のツールであって英語対応が基本であること、
こうしたことから、日本語の会話、歌には不向きなのです。
なので、しばらく、リップシングで歌を歌わせるシーンの
作成からは遠のいていました。
しかし、いつまでも遠のいたままではイヤなので、今回、
上記の課題を解消するために、以下を検討しました。
１．声と楽器の音をきれいに分離し、声のみを抽出する。
２．最近使ってみて、日本語でも、リップシンクの結果が
良好だった、DAZ STUDIO 4.11PRO 32bit版に搭載の
LipSyncを利用して、抽出した声でリップシンクシンク
させる。
３．リップシンクさせた後に、62bit版でIrayレンダリング
して動画を作成する。
４．音声＋楽器音を載せで動画を完成させる。
以上を試してみたところ、案外いい感じの動画ができました
今回、選択した曲は、e-Girlsの「Follow Me」です。
音声と楽器の音の分離には、
PhonicMindという、音源からボーカルを抽出/除去できる
オンラインサービスを利用しました。
これ、かなりキレイに分離できますよ。
なので、DAZ STUDIO 4.11 PRO 32bit版 LipSyncで口の動き
もまずまずの状況。
今回、このオンラインサービスは、リップシンクの出来栄え
を試している段階なので、お試しでの利用にとどめています。
だから、曲は途中までとなっていますが、効果のほどを確認
するには十分です。
こうして作成したFOLLOW MEの3DCG動画は以下の通りです。