Adobe After Effects による 3D VR180 映像の最適化作業手順

3DのVR180の実写を撮影したい場合、3D VR180 専用カメラで撮影する方法と独立したカメラを2台横に並べて撮影する方法の２通りの方法があります。

2024年6月の時点では、私は「独立したカメラを2台横に並べて撮影する方法」で撮影しています。

この方法で注意しなければならない点は、

【1】２台のカメラの位置と方向を正確に揃え確実に固定しなければならない点
【2】２台のカメラによる映像を正確に同期させなければならない点

の２つが重要になります。

【2】に関しては、映像編集ソフトでタイムラインを拡大して作業すれば１フレーム単位で２つの映像を揃える事は比較的簡単です。

やっかいのは【1】の方です。

カメラの位置と方向を正確に揃えて固定したつもりでも、実際の映像をチェックすると僅かにずれているものです。

僅かなずれであっても、そのまま 3D VR180 映像に仕上げ、VRヘッドマウントディスプレイで視聴すると、目に強い違和感を感じ、いわゆる”VR酔い”を引き起こしてしまいます。

この”僅かなずれ”を3D VR180 映像編集の前にしっかり修正する最適化作業が3DのVR180映像のコンテンツ制作には重要になります。

ここでは、Adobe After Effectsを用いた 3D VR180 映像の最適化作業手順を要点を絞って解説します。

（※ Adobe After Effectsは、普通の映像編集ソフトとは少し異なり、映像の合成や特殊な加工を行うソフトなので、操作方法がやや特殊で難解な部分があります。ここでは、Adobe After Effectsの基本操作はできる事を前提として、要点のみを解説します。）

ちなみに、VR映像（3D VR180 や 360VR）編集ソフトでは「 Mistika VR　https://www.sgo.es/mistika-vr/」がVR業界では定番ソフトです。

VRに特化したソフトなので、ここで紹介するAdobe After Effectsで行うより簡単に作業できるものと思います。

ただ、サブスク料金が少し高め（毎月１万円程度）です。

Adobeのサブスク料金も高めですが、Adobe製品全てが含まれていて長年Adobe製品を使い続けている人にとってはAdobe After Effectsで最適化作業を行う事の方が現実的です。

さて、本題に入ります。

かわりやすい例として下図のような図形の被写体を 左右横になれべた2台のカメラで撮影したとします。

上図の中心が２台のカメラの中間になるよう配置して撮影すると、左のカメラでは下図のようになります。

濃い青色はレンズに近い手前の被写体
薄い青色は無限遠のの被写体

右のカメラでは下図のようになります。
濃い赤色はレンズに近い手前の被写体
薄い赤色は無限遠のの被写体

編集ソフト上で横にならべると下図のように

左右の映像を重ねて表示すると下図のように
そして、これはあくまでも、２台のカメラの位置と方向が完璧に一致した理想的な状態です。

上図は理想的な場合で、実際に２台のカメラで撮影した映像を After Effects に読み込み重ねて表示すると多くの場合、下図のようにズレが生じています。

下図のような状態から上図の理想的な状態に修正する事が最適化作業で、以下はその手順です。

After Effects　で行う最初のステップを説明します。（下図を拡大して順次該当箇所を確認してください。）

（1）左右ぞれぞれの映像素材（4096px X 4096 px）を読み込みます。

（２）読み込んだ左右ぞれぞれの映像素材（4096px X 4096 px）から左右それぞれのコンポジションを２つ新規作成します。

（３）新規作成した左右それぞれのコンポジションからさらに左右それぞれのコンポジションを２つ新規作成します。（これがポイントです）

（４）（３）で作成したコンポジション２つを重ねてコンポジションを新規作成します。（下図の状態）

（５）上下のレイヤーに分かれた左右のコンポジションに、エフェクトメニューから「イマーシブ　＞　VRコンバーター」を適用します。

（６）「VRコンバーター」の詳細メニューから「入力：魚眼レンズ（フルドーム）」「出力：魚眼レンズ（フルドーム）」をセットします。

（７）上のレイヤーの透明度を50%にする事で、左右の映像の重なり具合が確認できます。

（８）左右の映像の重なり具合が確認しながら　ズレ　を修正するポイントは、
VRコンバーターの詳細メニューにある「カメラビューの方向を再設定」の「パン、チルト、ロー」の数値です。
±0.1単位（時には　0.05単位）の数字を入力しながらズレを調整します。

（９）「パン、チルト、ロー」の調整は慣れるまでかなり大変な作業です。が、コツがわかってくるとかなりテキパキと作業できるようになります。

（10）「パン、チルト、ロー」は、「球体を回転させる」をイメージする事が重要です。
パンでは、中心付近の手前では大きく右へ回転しても、奥では左へ、上下の端ではほとんど動きません。
チルトでは、中心付近の手前では大きく上下しても、左右の端では動きません。

　修正を行う上での注目ポイントは

　●無限遠の被写体は、左右の映像がほぼ一致して重なる

　●中心付近の水平は、左右の映像がほぼ一致する

（11）「パン、チルト、ロー」の調整だけでは、ズレが調整しきれません。
チルトによる左右の端付近、パンによる上下の端付近が、ズレている場合は「トランスフォーム」で位置を調整します。

（12）「トランスフォーム」で位置を調整する時に重要なのは、手順（２）で一番最初に作成した左右のコンポジションの「トランスフォーム」を調整しなければなりません。（下図）

（13）実際の映像では、このサンプル図形のようにズレ具合をはっきり確認できないので、映像の歪み具合が左右でかなり違う違和感でしかわかりません。「パン、チルト、ロー」の調整で歪み具合の違和感を感じる場合は、「トランスフォーム」の調整との組み合わせで違和感を取り除く事が重要です。
 

「トランスフォーム」の修正を行う必要がある場合の注目ポイントは、

●チルトの調整により中心付近の水平を合わせても両端の高さに差が生じる場合

●パンの調整により中心付近の垂直方向の直線を合わせても上下端に歪みが生じる場合

（８）～（13）の作業を地道に繰り返し行いながら左右の映像のズレを修正し、理想的な状態（下図）に近づけます。

（14）ズレ修正が完了したら、作業を行ったコンポジションを複製し、左右それぞれ別のコンポジションを作成します。

（15）（14）で作成した左右のコンポジションから、新規に左右のコンポジションを作成します。（ここがポイント）

（16）（15）で作成した左右のコンポジションの設定メニューを開き、サイズを 8192 px 4096 px に変更します。（ここがポイント）

（17）（16）でサイズを 8192 px 4096 px に変更した左右のコンポジションに「VRコンバーター」を適用します。

（18）「VRコンバーター」の詳細メニューから「入力：魚眼レンズ（フルドーム）」「出力：正距円筒 2:1」をセットします。（下図）

左と右、それぞれのコンポジションで、上記（17）（18）を行い下図のように正距円筒図法（エクイレクタングラー）に変換します。

（19）正距円筒図法（エクイレクタングラー）に変換した左右のコンポジションを重ね新規コンポジションを作成します。

（20）レイヤーに重なった左右のコンポジションのトランスフォームの位置座標を　左（2048,2048）、右（6144,2048）にセットする事で、3D VR180 のフォーマットになります。（下図）

（21）書き出しメニューから、Aobe Media Encoder 、 HEVC（h.265） 8K VRビデオ（立体視-並列、上下左右の視界180度） に設定し書き出す事で、3D VR180 のメタデータが書き込まれた VR映像が完成します。