★iPad用写真集アプリ「奇跡の島 ジープ島 / Miraculous Jeep Island」発売中★
★ facebook に AQUA Geo Graphic のページを開設しました。 ★ facebook に ジープ島/JEEP島 のページを開設しました。Adobe After Effects による 3D VR180 映像の最適化作業手順
3DのVR180の実写を撮影したい場合、3D VR180 専用カメラで撮影する方法と独立したカメラを2台横に並べて撮影する方法の２通りの方法があります。
2024年6月の時点では、私は「独立したカメラを2台横に並べて撮影する方法」で撮影しています。
この方法で注意しなければならない点は、
【1】２台のカメラの位置と方向を正確に揃え確実に固定しなければならない点
【2】２台のカメラによる映像を正確に同期させなければならない点
の２つが重要になります。
【2】に関しては、映像編集ソフトでタイムラインを拡大して作業すれば１フレーム単位で２つの映像を揃える事は比較的簡単です。
やっかいのは【1】の方です。
カメラの位置と方向を正確に揃えて固定したつもりでも、実際の映像をチェックすると僅かにずれているものです。
僅かなずれであっても、そのまま 3D VR180 映像に仕上げ、VRヘッドマウントディスプレイで視聴すると、目に強い違和感を感じ、いわゆる”VR酔い”を引き起こしてしまいます。
この”僅かなずれ”を3D VR180 映像編集の前にしっかり修正する最適化作業が3DのVR180映像のコンテンツ制作には重要になります。
ここでは、Adobe After Effectsを用いた 3D VR180 映像の最適化作業手順を要点を絞って解説します。
（※ Adobe After Effectsは、普通の映像編集ソフトとは少し異なり、映像の合成や特殊な加工を行うソフトなので、操作方法がやや特殊で難解な部分があります。ここでは、Adobe After Effectsの基本操作はできる事を前提として、要点のみを解説します。）
ちなみに、VR映像（3D VR180 や 360VR）編集ソフトでは「 Mistika VR https://www.sgo.es/mistika-vr/」がVR業界では定番ソフトです。
VRに特化したソフトなので、ここで紹介するAdobe After Effectsで行うより簡単に作業できるものと思います。
ただ、サブスク料金が少し高め（毎月１万円程度）です。
Adobeのサブスク料金も高めですが、Adobe製品全てが含まれていて長年Adobe製品を使い続けている人にとってはAdobe After Effectsで最適化作業を行う事の方が現実的です。
さて、本題に入ります。
かわりやすい例として下図のような図形の被写体を 左右横になれべた2台のカメラで撮影したとします。
上図の中心が２台のカメラの中間になるよう配置して撮影すると、左のカメラでは下図のようになります。
濃い青色はレンズに近い手前の被写体
薄い青色は無限遠のの被写体
右のカメラでは下図のようになります。
濃い赤色はレンズに近い手前の被写体
薄い赤色は無限遠のの被写体
編集ソフト上で横にならべると下図のように
左右の映像を重ねて表示すると下図のように
そして、これはあくまでも、２台のカメラの位置と方向が完璧に一致した理想的な状態です。
上図は理想的な場合で、実際に２台のカメラで撮影した映像を After Effects に読み込み重ねて表示すると多くの場合、下図のようにズレが生じています。
下図のような状態から上図の理想的な状態に修正する事が最適化作業で、以下はその手順です。
After Effects で行う最初のステップを説明します。（下図を拡大して順次該当箇所を確認してください。）
（1）左右ぞれぞれの映像素材（4096px X 4096 px）を読み込みます。
（２）読み込んだ左右ぞれぞれの映像素材（4096px X 4096 px）から左右それぞれのコンポジションを２つ新規作成します。
（３）新規作成した左右それぞれのコンポジションからさらに左右それぞれのコンポジションを２つ新規作成します。（これがポイントです）
（４）（３）で作成したコンポジション２つを重ねてコンポジションを新規作成します。（下図の状態）
（５）上下のレイヤーに分かれた左右のコンポジションに、エフェクトメニューから「イマーシブ ＞ VRコンバーター」を適用します。
（６）「VRコンバーター」の詳細メニューから「入力：魚眼レンズ（フルドーム）」「出力：魚眼レンズ（フルドーム）」をセットします。
（７）上のレイヤーの透明度を50%にする事で、左右の映像の重なり具合が確認できます。
（８）左右の映像の重なり具合が確認しながら ズレ を修正するポイントは、
VRコンバーターの詳細メニューにある「カメラビューの方向を再設定」の「パン、チルト、ロー」の数値です。
±0.1単位（時には 0.05単位）の数字を入力しながらズレを調整します。
（９）「パン、チルト、ロー」の調整は慣れるまでかなり大変な作業です。が、コツがわかってくるとかなりテキパキと作業できるようになります。
（10）「パン、チルト、ロー」は、「球体を回転させる」をイメージする事が重要です。
パンでは、中心付近の手前では大きく右へ回転しても、奥では左へ、上下の端ではほとんど動きません。
チルトでは、中心付近の手前では大きく上下しても、左右の端では動きません。
修正を行う上での注目ポイントは
●無限遠の被写体は、左右の映像がほぼ一致して重なる
●中心付近の水平は、左右の映像がほぼ一致する
（11）「パン、チルト、ロー」の調整だけでは、ズレが調整しきれません。
チルトによる左右の端付近、パンによる上下の端付近が、ズレている場合は「トランスフォーム」で位置を調整します。
（12）「トランスフォーム」で位置を調整する時に重要なのは、手順（２）で一番最初に作成した左右のコンポジションの「トランスフォーム」を調整しなければなりません。（下図）
（13）実際の映像では、このサンプル図形のようにズレ具合をはっきり確認できないので、映像の歪み具合が左右でかなり違う違和感でしかわかりません。「パン、チルト、ロー」の調整で歪み具合の違和感を感じる場合は、「トランスフォーム」の調整との組み合わせで違和感を取り除く事が重要です。
「トランスフォーム」の修正を行う必要がある場合の注目ポイントは、
●チルトの調整により中心付近の水平を合わせても両端の高さに差が生じる場合
●パンの調整により中心付近の垂直方向の直線を合わせても上下端に歪みが生じる場合
（８）～（13）の作業を地道に繰り返し行いながら左右の映像のズレを修正し、理想的な状態（下図）に近づけます。
（14）ズレ修正が完了したら、作業を行ったコンポジションを複製し、左右それぞれ別のコンポジションを作成します。
（15）（14）で作成した左右のコンポジションから、新規に左右のコンポジションを作成します。（ここがポイント）
（16）（15）で作成した左右のコンポジションの設定メニューを開き、サイズを 8192 px 4096 px に変更します。（ここがポイント）
（17）（16）でサイズを 8192 px 4096 px に変更した左右のコンポジションに「VRコンバーター」を適用します。
（18）「VRコンバーター」の詳細メニューから「入力：魚眼レンズ（フルドーム）」「出力：正距円筒 2:1」をセットします。（下図）
左と右、それぞれのコンポジションで、上記（17）（18）を行い下図のように正距円筒図法（エクイレクタングラー）に変換します。
（19）正距円筒図法（エクイレクタングラー）に変換した左右のコンポジションを重ね新規コンポジションを作成します。
（20）レイヤーに重なった左右のコンポジションのトランスフォームの位置座標を 左（2048,2048）、右（6144,2048）にセットする事で、3D VR180 のフォーマットになります。（下図）
（21）書き出しメニューから、Aobe Media Encoder 、 HEVC（h.265） 8K VRビデオ（立体視-並列、上下左右の視界180度） に設定し書き出す事で、3D VR180 のメタデータが書き込まれた VR映像が完成します。
【世界初スクープ】海岸の潮だまり（タイドプール）で「アズマヒキガエル」の集団産卵 （伊豆大島）
この冬は「椿まつり」の撮影で既に２回ロケに行っています。
「椿まつり」の期間中、伊豆大島の海の中ではイワシの「サーディンラン」と呼ばれる大きな出来事があります。
イワシの大群、それも超大群、海の中がイワシの壁に覆われる、ピーク時には島周辺のダイビングポイントのどこを潜ってイワシの壁、というくらいの超大群が近年の１月下旬から２月に見られるようになりました。
ただ、今年は群れの規模が小さくダイビングではなかなか会えないとの情報を事前に聞いていました。
群れの規模が小さいとはいえ、出現している場所では、港内や海岸の潮だまり（タイドプール）にイワシが迷い込み、網ですくって採っているとの話です。
このような話を聞いていたので、伊豆大島へ到着した当日、今まで行った事がなかった海岸へでかけた時、意識して潮だまり （タイドプール）を見て回りました。
すると、何かあまり聞きなれない生き物の鳴き声が聞こえてきました。
鳴き声の方へ行ってみると、なんと 潮だまり（タイドプール）で蛙が集団産卵をしているのです。
蛙は「アズマヒキガエル」で、通常は淡水の池・沼や水溜まりで集団産卵します。
ちなみに、アズマヒキガエルは日本固有亜種ですが、元々は伊豆大島には生息していなく、伊豆大島では外来種です。
伊豆大島は若い火山島であり、頻繁に噴火を繰り返しているため地表は火山灰やスコリアに覆われており、雨が降ってもすぐに地中に染み込んでしまい伊豆大島には川や湖がありません。
（川のようなものはあっても普段は水が流れていません）
つまり、 淡水の池・沼 ・ 水溜まりが無い伊豆大島のアズマヒキガエルは海岸の潮だまり（タイドプール）で産卵するという環境に適応する進化をした？！という事です。
伊豆大島では アズマヒキガエルの 潮だまり（タイドプール）での集団産卵は、誰でも知っている常識なのか？
と、最初は疑問に思ったのですが、その後、 伊豆大島在住のガイド（ダイビング／ジオパーク）さん達から情報を集めた所、誰も知りませんでした。
私が偶然発見したアズマヒキガエルの 潮だまり（タイドプール）で集団産卵は伊豆大島でも今まで誰の目に留まらなかった出来事だったようです。
以下は、あくまでも私の個人的な推測です。
アズマヒキガエルが産卵を行っていた 潮だまり （タイドプール）は、100%の海水ではなく、雨水や湧水による淡水で塩分がかなり薄められた「汽水」ではないかと推測します。
周辺の地形をよく見ると山側には深い亀裂の谷があり、 潮だまり （タイドプール）は、砂浜の海岸に扇状に流れ込んだ溶岩の中心付近にあります。
（リンク先の映像を見て確認してみて下さい）
また大潮の満潮時でも潮位はこの 潮だまり まで上がってきません。
伊豆大島の海岸には至る所に 潮だまり （タイドプール）が存在しますが、雨水や湧水で塩分が薄められた「汽水」の潮どまりは極めて希少で、 この希少な 潮だまり のみにアズマヒキガエルが産卵で集まるので、今まで人の目に触れる事もなかったのだと推測します。
アズマヒキガエルの繁殖期は２月というマリンレジャーのオフシーズンなのでなおさら人の目に触れにくい時期です。
通常（関東地方での）アズマヒキガエルの産卵は、２月の暖かい日の夕方から夜の時間帯、期間は２～３日程度のようです。
しかし、今回伊豆大島で観察したアズマヒキガエルの産卵は昼間の時間帯、期間も１週間以上観察されています。
この辺りも含めて、伊豆大島のアズマヒキガエルならではの習性をもっと深く解明すると面白いのでは？と思っています。
動画を Youtubeにアップしました。
暗い低照度下でのVR180 カメラとしての Insta360 ACE PRO の可能性
先月発売になった Insta360 のアクションカム ACE PRO。
低照度に弱いGoProに比べ、明らかに低照度に強いという事で、注目していました。
ただ、今の私の用途にとって重要なのは、3D の VR180 用途で使えるのか？
具体的には、画角が全周180度、か、それに限りなく近い超広角レンズである事が重要です。
カタログスペック上では、16mm（35mmカメラ換算）相当とあります。
一般的なカメラとしては、16mm相当は超広角ですが、 VR180 用途ではかなり狭く無理があります。
背面液晶で映像を確認すると、Maxレンズを付けていないのノーマルのGoProよりもわずかに狭く見えます。
「これでは、VR180用途には使えないかなぁ」と半分諦めていました。
ただ、VR180用途には使えなくても、低照度に強いアクションカムとして１台くらいあったら使い道があるかな？と思い衝動買いしてしまいました。
先日の「秩父夜祭り」も、GoPro Hero11 ２台 と Insta360 ACE PRO の計３台を１つのリグに組んで、ジンバルの乗せて撮影しました。
GoPro Hero11 ２台 と Lumix GH6 をジンバルの乗せて撮る事もできるのですが、バランス調整や重量的にかなり大変なんです。
GoPro Hero11 ２台にInsta360 ACE PROもう一台加える事は大した事ではありません。
さて、話を戻します。
VR180 用途としてInsta360 ACE PROが使えそうか？ をもう少し踏み込んで検証してみました。
添付画像は、Maxレンズを付けたGoPro Hero 11 とInsta360 ACE PRO（FreeFrameモード）の撮影画像を重ねて比較したものです。
（4:3の四角枠がACE PRO、円形の薄い画像がMaxレンズを付けたGoPro）
全周180度の円周魚眼レンズ（＝Maxレンズを付けたGoPro）には及びませんが、対角180度の魚眼レンズとほぼ同じです。
射影方式も等距離射影だと思われます。（ただし、Maxレンズを付けたGoProとは僅かにズレる）
背面液晶で見えている映像より、実際はかなり広く撮れています。
こうやって改めて比較してみると、用途次第では 3D VR180 用カメラとして使える気がしてきました。
特に、暗い低照度の環境では周辺部分はあまり重要では無いと思うので、割り切ってACE PROで撮るというのもありのような気がします。
※補足※
Insta360カメラを活用するには専用アプリをスマホなりPCにインストールする必要がありますが、 Insta360 ACE PROのFreeFrameモードでのオリジナルデータをそのまま扱うには注意が必要です。
アプリ（Insta 360 Studio）をPCにインストールする時、Adobe用プラグインも入れてしまうと、Adobeのソフトにオリジナルデータを読み込むと自動的に補正されてしまいFreeFrameのオリジナルデータの素のままの表示ができなくなります。
（もしかしたら別途方法があるのかもしれません。）
GoPro Hero 11 Black による 3D VR180 カメラリグ 2023年11月版
GoPro Hero 11 Black に Max モジュラーレンズを付け、それを２セット横に並べて 3D の VR180映像を撮影するようになり約１年少し経過しました。
この組み合わせでVR180映像を撮っている人なんて、おそらく全世界探しても10人も居ないと思われるので、情報は皆無。全て自分で工夫しながら行うしかありません。
3D は基本的にカメラを２台並べて撮れば３D映像が撮れるわけですが、２台並べて撮るにしても、正確に向きや位置を揃えて撮らなければ、３D映像として視聴するには耐えがたい酷い3D映像になってしまいます。
幸い、ここ１年いろいろテストしてわかった事ですが、多少カメラの向きや位置がずれていても、後処理（Adobe AfterEffects）を丁寧に行えば調整できます。 もちろん、ずれにも限度がありますし、正確に向きや位置が合っている事に越したことはありません。
効率的な後処理を考えると、向きや位置が正確に合っている以上に、全ての撮影カットで同一である事が重要です。
つまり、REC の ON/OFF する毎にカメラが微妙に動いて、カット毎にカメラの向きや位置がずれる事が無いようにしなければなりません。
GoProの欠点として、カメラを固定するベースが、ぐらぐらしていて、がっちり完全に固定する事ができません。
そのまま使用すると、REC ボタンを ON/OFF する毎にカメラが微妙に動くのです。
なので、REC ボタンを ON/OFF しなくても良いように、当初は複数のGoProをリモートで同時に制御できるスマホアプリを使用していました。 これなら、一度セットしたGoPro に触れる事なく、電源の ON/OFF 、REC ボタンの ON/OFF の操作ができたのです。
しかし、、
GoProリモートアプリは、とても不安定でした。
特に人が多い所では、電波が干渉するのでしょうか？ 不安定というより、使い物にならないレベルでした。
結局、 リモートアプリを使用する事は辞めて、GoPro本体のREC ボタンを都度指で押すという方法に戻ったのです。
そこで、重要になるのが、GoPro本体のREC ボタンを指で押しても、GoPro本体が動かないようガッチリ固定させる方法です。
専用のカメラリグメーカーがVR180用のリグを発売してくれていれば、それを購入するば良いのですが、そんな既製品はありません。
ここ１年、いろいろ試行錯誤しましたが、今日紹介するのは、ここ１年で辿り着いた最新の私のリグです。
もちろん、これが最終形ではありません。
もし、もっと良いアイデアがあれば、是非とも教えて下さい。
以下の画像は、いずれもジンバル（DJI Ronin RS3）に固定しています。
●片方のGoProを逆さにする事で、レンズ間距離を寄せたり離したりできるシステム
2台のGoProの背面にアクリル板を押し付けてしっかり固定します。
一般的に人の目と目の間の距離、瞳孔間距離（IPD）は、60～65mm といわれています。
なので、3D カメラのレンズ間距離も同じである事が望ましいのです。
ただ、特別な例として、小さな被写体に接近して撮りたい場合、3D カメラのレンズ間を寄せて撮った方が3Dで視聴するには楽に視聴できます。
この場合、被写体の大きさが実際よりも大きく見えてしまいます。
逆に、遠くの被写体を一般的な瞳孔間距離と同じ3Dカメラで撮影すると、立体感があまり感じられず平面的な映像になります。
そこで、あえて3D カメラのレンズ間を広げ、遠くの被写体でも立体的に見えるように撮る事があります。
たとえば、打ち上げ花火は、カメラを5～6m離す事で、球形に開く花火の3D映像が撮れます。
3D カメラのレンズ間を瞳孔間距離より広げて撮った3D VR180映像では、視聴した際には被写体は実際の大きさよりも小さく見えます。
●GoProをシンプルに横に並べて寄せ、前面と背面をアクリル棒を押し当ててしっかり固定します。 前面のアクリル棒は、内蔵マイクを塞いでしまうので、スペーサーを入れて内蔵マイクを塞さがないようにしています。
このシステムでのレンズ間距離はいちばん寄せても 70mm です。
人間を撮ると、実際よりも少し小柄に見えます。
風景ではほとんど違和感が無いので、これが私の基本システムです。
いずれの設定でも4チャンネルサラウンド録音に対応したZOOM ハンディレコーダー 「H2n」を後ろにセットし、 GoProへは、Line（ステレオ）で、メディアモジュラーに入力します。
メディアモジュラーは不要な部分を切り捨てて本体に接続しています。
メディアモジュラーを装着すると GoProがフリーズする頻度が増え、リセットするには電池を抜く必要があるのですが、標準のままだとカメラ固定ネジを外しばらしてから電池を抜くという非常にやっかいな手順なので、単純にメディアモジュラーを引っ張れば取り外せるよう不要な部分を切除しました。
ただ、4チャンネルサラウンド録音はしているものの、Youtubeにアップしている動画は現状はステレオだったり、GoPro内蔵マイクの音だったりします。
【参考資料】
●カメラのレンズ間距離と瞳孔間距離の違いにより被写体の大きさが変化してしまう件の詳細は以下のサイトに詳しい解説があります
https://vrlab.meijo-u.ac.jp/edu/HMD-IPD-distortion.html
● レンズ間を広げて立体感を誇張した 超立体視3D映像 （ Hyperstereoscopy , Exaggerated stereoscopic ）のYoutube再生リスト
https://www.youtube.com/playlist?list=PLMyf7bjc4ZIFopJmhmuMQfiPQC22KFRfJ
3D VR180 カメラ（Panasonic Lumix GHシリーズ）用 円周魚眼レンズ
2023年11月現在、3D VR180 映像の撮影には、主に GoPro Hero 11 Black に Maxモジュラーレンズを装着したものを２台並べて撮っています。
GoPro Hero 11 Blackの画質は、かなり洗練されていて、明るい昼間の撮影では現状の3D VR180カメラの選択肢の中でもほぼ最良の選択ではないかと思います。
ただ、GoPro Hero 11 Blackにも弱点があり、低照度下でのノイズやジャドーのグラデーションがイマイチです。
また、圧縮率の問題のような気がしますが、木々に囲まれた渓流のようなシーンは、木々の葉っぱの鮮明さが失われてしまう傾向があると感じます。
GoPro Hero 11 Blackが苦手とするシーンでは、Panasonic Lumix GHシリーズ（GH5,GH6）を縦位置に２台並べて使用します。
GHシリーズに使用する円周魚眼レンズとして、
Meike 3.5mm f2.8（画角190度） と Meike 6.5mm F2.0 （画角220度）を使い分けています。
今回は、この２種類の Meike円周魚眼レンズの比較です。
●Meike 3.5mm f2.8 の使用例
●Meike 6.5mm F2.0 の使用例
●Panasonic Lumix DC-GH6 で記録された元画像
GH6 で記録された元画像を見てもらえればわかるように、
Meike 3.5mmは、イメージサークルが小さい上に画角が220度広い為、VR180用の画角180度にする為にはなかりの部分をクロップする事になり、解像度の点では不利になります。
その代わりに全周においてケラレない映像が得られます。
Meike 6.5mmは、イメージサークルがマイクロフォーサーズのセンサーサイズより大きい為、左右がケラレた映像になります。
その代わりにセンサー面積を有効に使用できるので解像度の点では有利になります。
実際に、3D VR180に仕上げた映像をVRヘッドマウントディスプレイで視聴した印象は、
左右がケラレた映像でもMeike 6.5mの方が良好に感じます。ケラレの部分もほとんど気になりません。
まだ、十分な事例で評価できているわけではありませんので、引き続きこのレンズの撮り比べは機会をみては行っていきたいと思います。
【参考】魚眼レンズの射影方式
魚眼レンズの射影方式には４つの方式があります。
●等距離射影(equidistance projection)
●立体射影(stereographic projecton)
●等立体角射影(equisolid angle projection)
●正射影(orthogonal projection)
VR映像の撮影に向いている魚眼レンズの射影方式は、等距離射影(equidistance projection)だそうです。
一般的な魚眼レンズの等距離射影方式を採用されているようですが、各メーカーのどの魚眼レンズがどの射影方式を採用しているかの情報は調べてもなかなかわかりません。
Meikeの6.5mm／3.5mmは、等距離射影では無いように感じます。（確証はありません）
魚眼レンズの射影方式の詳細は、以下のサイトに詳しく解説があります。
https://fit-movingeye.co.jp/Products/fi-series/