MMD自動化ツールで作成されたVMDを動画にして再生・元動画と比較

前記事では、OpenPoseを使ってAI（深層学習）による人物ポーズ可視化の

例を紹介しました。

自分で作成していた動画2例に適用して、関節点検出をうまく行えている

ことが確認できましたが、私の目的は、そうして検出したデータをモーション

ファイルに変換して、3DCG動画に適用することです。

自分の動きをWebカメラで撮影した動画を利用することも可能ですから、

モーションファイルへの変換ができれば、いろんな動きをとらせた動画

の作成に繋がっていくことも期待できます。

ということで、特殊な機材を必要とするモーションキャプチャーを使用する

ことなく、カメラ１つだけで、動画→モーションファイル変換可能なツール

の方法で、実際にうまくいくか否かを試してみました。

結論を先に述べておくと、「え！？こんなに簡単に出来てしまうの？」と

いうぐらいスムーズに作業が進みました。

やり方は、既に上で紹介しているHPで詳しく解説されていますので、

ここで改めて取り上げることはしません。

準備するものは、

●動画

●Google Chrome

●Googleアカウント

ぐらいです。

以下が自動化ツールへのリンクです。

但し、Colaboratory に GitHub API の使用を許可することが必要です。

準備編で、colab（Google colaboratory）の操作方法を学習してから開始

しますが、特に難しい操作はなくて、クリックし、確認し、次から次へ

進めていったらＯＫという、使い手に優しいツールでした。

日本語が読めれば、迷うことはないでしょう。

今回は、以下の「踊ってみた」動画を使わせて頂いて最初のチャレンジを

しましたので以下に紹介します。

元動画はコチラ

上記動画から自動トレースで関節点検出した動画は以下

上記で自動で関節情報を検出させた後に自動化ツールで作成された

「vmdファイル」でアニメーションチェックしたのが、以下に示す動画です。

「PmxEditor_0257」にMMD準標準ボーンの追加プラグインを追加して

処理したKisuna AIをモデルにしてモーション（vmd）させている画面（TransformerView）を動画キャプチャーしたものです。

追加したプラグイン：

SemiStandardBones.dll

SemiStandardBonesPMX.dll

元動画の完全再現には至ってはおりませんが、ある程度それらしく動いて

いるといった感じです。

以下に、元動画のモーションと比較した動画を示しました。

編集すれば、より一層スムーズな動きに改善されると思います。

クレジット表記

ツール：MMD自動トレース
作者：miu200521358
ライセンス：https://ch.nicovideo.jp/miu200521358/blomaga/ar1686913