★iPad用写真集アプリ「奇跡の島 ジープ島 / Miraculous Jeep Island」発売中★
★ facebook に AQUA Geo Graphic のページを開設しました。 ★ facebook に ジープ島/JEEP島 のページを開設しました。超立体視3D VR180 花火映像の撮影
2024年時点でのVRコンテンツのマーケットは、まだまだ小さく、ニッチな市場ですが、少しずつですがニッチな分野から広がっている気配を感じます。
そして、イベントや展示会での映像ショウのイベントでは昨年（2023年）頃から「イーマーシブ（没入）」がキーワードとしてトレンドなり、イーマーシブ（没入）映像ショウが完全に主流になっています。
昨年ラスベガスにオープンした巨大球体LEDアリーナ「スフィア／Sphere」や日本でもLEDドームを採用したプラネタリム／ドームシアターが登場するといった時代の流れから、 イーマーシブ（没入）映像のニーズはVRに限らず拡大しているのは確実です。
実写でのイーマーシブ（没入）映像として、インパクトがある映像は、「天を見上げる映像」があります。
夜空の星を見上げるプラネタリムはその代表ですが、「花火」はさらにインパクトの強い「天を見上げる映像」です。
プラネタリム／ドームシアターでの上映を意識した花火の撮影は、かれこれ10年近く行っていて、これはビジネスにもなっているのですが、２年前からは、3D 立体視を意識した花火の撮影を行っています。
通常の3Dカメラで遠景の花火を撮影しても、視差があまり生じず平面的な映像になってしまいます。 そこで、２台のカメラを約5m～10m離して設定し撮影する事で、遠景の花火でも視差を生じさせ立体的に撮影する事ができます。
※上の画像は、GoPro Hero 11 Black を２台離して設置した様子です。約7～8m離してそれぞれ三脚に固定しています。 GoProを通常の状態で長時間連続撮影すると熱暴走してしまう為、本体電池を抜いて外部電源のみ、ヒートシンクを張り付け、小型扇風機で風を当て空冷し２時間以上の連続撮影を可能にしました。
超立体3D 花火をVRゴーグルで視聴する事で、花火が球体状に開く様子がよくわかります。
２台のカメラを約5m～10m離して設定する場合、カメラの向きを正確に合わせる必要があるのですが、 実際はかなり適当に合わせるだけでも後処理でなんとかできます。
VR映像である事のメリットは、「球体に描写される映像」である点です。つまり、カメラの向きがずれていても、球体を回転させれば向きを合わせる事ができるわけです。 具体的にどのような編集作業になるか？ に関しては以前書いた記事を参照ください。
https://ameblo.jp/satoagg/entry-12857871130.html
「球体を回転させれば向きを合わせる事ができる」には、撮影レンズが魚眼レンズでなければなりません。
魚眼レンズの射影方式には４つの方式があります。
●等距離射影(equidistance projection)
●立体射影(stereographic projecton)
●等立体角射影(equisolid angle projection)
●正射影(orthogonal projection)
VR映像の撮影に向いている魚眼レンズの射影方式は、等距離射影(equidistance projection)です。
市販されている魚眼レンズの射影方式はどの方式なのか？は、情報が公開されていないものも多くなかなか分からないのですが、実際にVRの編集作業を行っていく過程で、等距離射影方式なのか？そうではないのか？くらいの差はわかってきます。
GoPro HERO 用の Max Mod レンズは、おそらく等距離射影方式です。
私が Panasonic Lumix GH5やGH6、Sony α6000シリーズでよく使用する Meike 6.5mm は等距離射影方式では無いようです。
でも、Meike 6.5mm で撮影した映像でも、10度くらいの差であれば、実用上あまり問題なく補正できているように感じます。
花火の 3D VR180 撮影でも Meike 6.5mm レンズは良く使用します。
さて、3D VR180の映像コンテンツですが、現状は VRヘッドセットで視聴する事が、一番手っ取り早い方法です。
ここをもう１歩進めて、ドームシアターのような大きなスクリーンに3D上映できる事がビジネス化には重要だと考えます。
実際、3D上映可能なドームシアターを備えたプラネタリウム／科学館は、日本に５館くらいあるそうです。
ペーパードームのような移動式簡易ドームスクリーンでも、3D上映可能です。
最近は、裸眼3Dディスプレイが各社から登場しています。
大型スクーリンにするのはコストがかかりそうですが、裸眼3D視聴が可能なドームディスプレイができれば3D VR180 コンテンツが活用できる場が広がります。
「超立体視 3D 花火」はその時の3Dキラーコンテンツになると期待しています。
Youtube、DEOVR、Meta Quest TV に ここ２年間に撮影した「超立体視 3D 花火」動画を以下にリストアップしました。
超立体視 3D 花火再生リスト
https://www.youtube.com/playlist?list=PLXQ7YvwPKMWVWa3ct-B2aLNHrthDmKOoZ
DEOVR
https://deovr.com/channel/aquageographic
Meta Quest TV
https://creator.oculus.com/community/116702404647474/
Adobe After Effects による 3D VR180 映像の最適化作業手順
3DのVR180の実写を撮影したい場合、3D VR180 専用カメラで撮影する方法と独立したカメラを2台横に並べて撮影する方法の２通りの方法があります。
2024年6月の時点では、私は「独立したカメラを2台横に並べて撮影する方法」で撮影しています。
この方法で注意しなければならない点は、
【1】２台のカメラの位置と方向を正確に揃え確実に固定しなければならない点
【2】２台のカメラによる映像を正確に同期させなければならない点
の２つが重要になります。
【2】に関しては、映像編集ソフトでタイムラインを拡大して作業すれば１フレーム単位で２つの映像を揃える事は比較的簡単です。
やっかいのは【1】の方です。
カメラの位置と方向を正確に揃えて固定したつもりでも、実際の映像をチェックすると僅かにずれているものです。
僅かなずれであっても、そのまま 3D VR180 映像に仕上げ、VRヘッドマウントディスプレイで視聴すると、目に強い違和感を感じ、いわゆる”VR酔い”を引き起こしてしまいます。
この”僅かなずれ”を3D VR180 映像編集の前にしっかり修正する最適化作業が3DのVR180映像のコンテンツ制作には重要になります。
ここでは、Adobe After Effectsを用いた 3D VR180 映像の最適化作業手順を要点を絞って解説します。
（※ Adobe After Effectsは、普通の映像編集ソフトとは少し異なり、映像の合成や特殊な加工を行うソフトなので、操作方法がやや特殊で難解な部分があります。ここでは、Adobe After Effectsの基本操作はできる事を前提として、要点のみを解説します。）
ちなみに、VR映像（3D VR180 や 360VR）編集ソフトでは「 Mistika VR https://www.sgo.es/mistika-vr/」がVR業界では定番ソフトです。
VRに特化したソフトなので、ここで紹介するAdobe After Effectsで行うより簡単に作業できるものと思います。
ただ、サブスク料金が少し高め（毎月１万円程度）です。
Adobeのサブスク料金も高めですが、Adobe製品全てが含まれていて長年Adobe製品を使い続けている人にとってはAdobe After Effectsで最適化作業を行う事の方が現実的です。
さて、本題に入ります。
かわりやすい例として下図のような図形の被写体を 左右横になれべた2台のカメラで撮影したとします。
上図の中心が２台のカメラの中間になるよう配置して撮影すると、左のカメラでは下図のようになります。
濃い青色はレンズに近い手前の被写体
薄い青色は無限遠のの被写体
右のカメラでは下図のようになります。
濃い赤色はレンズに近い手前の被写体
薄い赤色は無限遠のの被写体
編集ソフト上で横にならべると下図のように
左右の映像を重ねて表示すると下図のように
そして、これはあくまでも、２台のカメラの位置と方向が完璧に一致した理想的な状態です。
上図は理想的な場合で、実際に２台のカメラで撮影した映像を After Effects に読み込み重ねて表示すると多くの場合、下図のようにズレが生じています。
下図のような状態から上図の理想的な状態に修正する事が最適化作業で、以下はその手順です。
After Effects で行う最初のステップを説明します。（下図を拡大して順次該当箇所を確認してください。）
（1）左右ぞれぞれの映像素材（4096px X 4096 px）を読み込みます。
（２）読み込んだ左右ぞれぞれの映像素材（4096px X 4096 px）から左右それぞれのコンポジションを２つ新規作成します。
（３）新規作成した左右それぞれのコンポジションからさらに左右それぞれのコンポジションを２つ新規作成します。（これがポイントです）
（４）（３）で作成したコンポジション２つを重ねてコンポジションを新規作成します。（下図の状態）
（５）上下のレイヤーに分かれた左右のコンポジションに、エフェクトメニューから「イマーシブ ＞ VRコンバーター」を適用します。
（６）「VRコンバーター」の詳細メニューから「入力：魚眼レンズ（フルドーム）」「出力：魚眼レンズ（フルドーム）」をセットします。
（７）上のレイヤーの透明度を50%にする事で、左右の映像の重なり具合が確認できます。
（８）左右の映像の重なり具合が確認しながら ズレ を修正するポイントは、
VRコンバーターの詳細メニューにある「カメラビューの方向を再設定」の「パン、チルト、ロー」の数値です。
±0.1単位（時には 0.05単位）の数字を入力しながらズレを調整します。
（９）「パン、チルト、ロー」の調整は慣れるまでかなり大変な作業です。が、コツがわかってくるとかなりテキパキと作業できるようになります。
（10）「パン、チルト、ロー」は、「球体を回転させる」をイメージする事が重要です。
パンでは、中心付近の手前では大きく右へ回転しても、奥では左へ、上下の端ではほとんど動きません。
チルトでは、中心付近の手前では大きく上下しても、左右の端では動きません。
修正を行う上での注目ポイントは
●無限遠の被写体は、左右の映像がほぼ一致して重なる
●中心付近の水平は、左右の映像がほぼ一致する
（11）「パン、チルト、ロー」の調整だけでは、ズレが調整しきれません。
チルトによる左右の端付近、パンによる上下の端付近が、ズレている場合は「トランスフォーム」で位置を調整します。
（12）「トランスフォーム」で位置を調整する時に重要なのは、手順（２）で一番最初に作成した左右のコンポジションの「トランスフォーム」を調整しなければなりません。（下図）
（13）実際の映像では、このサンプル図形のようにズレ具合をはっきり確認できないので、映像の歪み具合が左右でかなり違う違和感でしかわかりません。「パン、チルト、ロー」の調整で歪み具合の違和感を感じる場合は、「トランスフォーム」の調整との組み合わせで違和感を取り除く事が重要です。
「トランスフォーム」の修正を行う必要がある場合の注目ポイントは、
●チルトの調整により中心付近の水平を合わせても両端の高さに差が生じる場合
●パンの調整により中心付近の垂直方向の直線を合わせても上下端に歪みが生じる場合
（８）～（13）の作業を地道に繰り返し行いながら左右の映像のズレを修正し、理想的な状態（下図）に近づけます。
（14）ズレ修正が完了したら、作業を行ったコンポジションを複製し、左右それぞれ別のコンポジションを作成します。
（15）（14）で作成した左右のコンポジションから、新規に左右のコンポジションを作成します。（ここがポイント）
（16）（15）で作成した左右のコンポジションの設定メニューを開き、サイズを 8192 px 4096 px に変更します。（ここがポイント）
（17）（16）でサイズを 8192 px 4096 px に変更した左右のコンポジションに「VRコンバーター」を適用します。
（18）「VRコンバーター」の詳細メニューから「入力：魚眼レンズ（フルドーム）」「出力：正距円筒 2:1」をセットします。（下図）
左と右、それぞれのコンポジションで、上記（17）（18）を行い下図のように正距円筒図法（エクイレクタングラー）に変換します。
（19）正距円筒図法（エクイレクタングラー）に変換した左右のコンポジションを重ね新規コンポジションを作成します。
（20）レイヤーに重なった左右のコンポジションのトランスフォームの位置座標を 左（2048,2048）、右（6144,2048）にセットする事で、3D VR180 のフォーマットになります。（下図）
（21）書き出しメニューから、Aobe Media Encoder 、 HEVC（h.265） 8K VRビデオ（立体視-並列、上下左右の視界180度） に設定し書き出す事で、3D VR180 のメタデータが書き込まれた VR映像が完成します。
【世界初スクープ】海岸の潮だまり（タイドプール）で「アズマヒキガエル」の集団産卵 （伊豆大島）
この冬は「椿まつり」の撮影で既に２回ロケに行っています。
「椿まつり」の期間中、伊豆大島の海の中ではイワシの「サーディンラン」と呼ばれる大きな出来事があります。
イワシの大群、それも超大群、海の中がイワシの壁に覆われる、ピーク時には島周辺のダイビングポイントのどこを潜ってイワシの壁、というくらいの超大群が近年の１月下旬から２月に見られるようになりました。
ただ、今年は群れの規模が小さくダイビングではなかなか会えないとの情報を事前に聞いていました。
群れの規模が小さいとはいえ、出現している場所では、港内や海岸の潮だまり（タイドプール）にイワシが迷い込み、網ですくって採っているとの話です。
このような話を聞いていたので、伊豆大島へ到着した当日、今まで行った事がなかった海岸へでかけた時、意識して潮だまり （タイドプール）を見て回りました。
すると、何かあまり聞きなれない生き物の鳴き声が聞こえてきました。
鳴き声の方へ行ってみると、なんと 潮だまり（タイドプール）で蛙が集団産卵をしているのです。
蛙は「アズマヒキガエル」で、通常は淡水の池・沼や水溜まりで集団産卵します。
ちなみに、アズマヒキガエルは日本固有亜種ですが、元々は伊豆大島には生息していなく、伊豆大島では外来種です。
伊豆大島は若い火山島であり、頻繁に噴火を繰り返しているため地表は火山灰やスコリアに覆われており、雨が降ってもすぐに地中に染み込んでしまい伊豆大島には川や湖がありません。
（川のようなものはあっても普段は水が流れていません）
つまり、 淡水の池・沼 ・ 水溜まりが無い伊豆大島のアズマヒキガエルは海岸の潮だまり（タイドプール）で産卵するという環境に適応する進化をした？！という事です。
伊豆大島では アズマヒキガエルの 潮だまり（タイドプール）での集団産卵は、誰でも知っている常識なのか？
と、最初は疑問に思ったのですが、その後、 伊豆大島在住のガイド（ダイビング／ジオパーク）さん達から情報を集めた所、誰も知りませんでした。
私が偶然発見したアズマヒキガエルの 潮だまり（タイドプール）で集団産卵は伊豆大島でも今まで誰の目に留まらなかった出来事だったようです。
以下は、あくまでも私の個人的な推測です。
アズマヒキガエルが産卵を行っていた 潮だまり （タイドプール）は、100%の海水ではなく、雨水や湧水による淡水で塩分がかなり薄められた「汽水」ではないかと推測します。
周辺の地形をよく見ると山側には深い亀裂の谷があり、 潮だまり （タイドプール）は、砂浜の海岸に扇状に流れ込んだ溶岩の中心付近にあります。
（リンク先の映像を見て確認してみて下さい）
また大潮の満潮時でも潮位はこの 潮だまり まで上がってきません。
伊豆大島の海岸には至る所に 潮だまり （タイドプール）が存在しますが、雨水や湧水で塩分が薄められた「汽水」の潮どまりは極めて希少で、 この希少な 潮だまり のみにアズマヒキガエルが産卵で集まるので、今まで人の目に触れる事もなかったのだと推測します。
アズマヒキガエルの繁殖期は２月というマリンレジャーのオフシーズンなのでなおさら人の目に触れにくい時期です。
通常（関東地方での）アズマヒキガエルの産卵は、２月の暖かい日の夕方から夜の時間帯、期間は２～３日程度のようです。
しかし、今回伊豆大島で観察したアズマヒキガエルの産卵は昼間の時間帯、期間も１週間以上観察されています。
この辺りも含めて、伊豆大島のアズマヒキガエルならではの習性をもっと深く解明すると面白いのでは？と思っています。
動画を Youtubeにアップしました。
暗い低照度下でのVR180 カメラとしての Insta360 ACE PRO の可能性
先月発売になった Insta360 のアクションカム ACE PRO。
低照度に弱いGoProに比べ、明らかに低照度に強いという事で、注目していました。
ただ、今の私の用途にとって重要なのは、3D の VR180 用途で使えるのか？
具体的には、画角が全周180度、か、それに限りなく近い超広角レンズである事が重要です。
カタログスペック上では、16mm（35mmカメラ換算）相当とあります。
一般的なカメラとしては、16mm相当は超広角ですが、 VR180 用途ではかなり狭く無理があります。
背面液晶で映像を確認すると、Maxレンズを付けていないのノーマルのGoProよりもわずかに狭く見えます。
「これでは、VR180用途には使えないかなぁ」と半分諦めていました。
ただ、VR180用途には使えなくても、低照度に強いアクションカムとして１台くらいあったら使い道があるかな？と思い衝動買いしてしまいました。
先日の「秩父夜祭り」も、GoPro Hero11 ２台 と Insta360 ACE PRO の計３台を１つのリグに組んで、ジンバルの乗せて撮影しました。
GoPro Hero11 ２台 と Lumix GH6 をジンバルの乗せて撮る事もできるのですが、バランス調整や重量的にかなり大変なんです。
GoPro Hero11 ２台にInsta360 ACE PROもう一台加える事は大した事ではありません。
さて、話を戻します。
VR180 用途としてInsta360 ACE PROが使えそうか？ をもう少し踏み込んで検証してみました。
添付画像は、Maxレンズを付けたGoPro Hero 11 とInsta360 ACE PRO（FreeFrameモード）の撮影画像を重ねて比較したものです。
（4:3の四角枠がACE PRO、円形の薄い画像がMaxレンズを付けたGoPro）
全周180度の円周魚眼レンズ（＝Maxレンズを付けたGoPro）には及びませんが、対角180度の魚眼レンズとほぼ同じです。
射影方式も等距離射影だと思われます。（ただし、Maxレンズを付けたGoProとは僅かにズレる）
背面液晶で見えている映像より、実際はかなり広く撮れています。
こうやって改めて比較してみると、用途次第では 3D VR180 用カメラとして使える気がしてきました。
特に、暗い低照度の環境では周辺部分はあまり重要では無いと思うので、割り切ってACE PROで撮るというのもありのような気がします。
※補足※
Insta360カメラを活用するには専用アプリをスマホなりPCにインストールする必要がありますが、 Insta360 ACE PROのFreeFrameモードでのオリジナルデータをそのまま扱うには注意が必要です。
アプリ（Insta 360 Studio）をPCにインストールする時、Adobe用プラグインも入れてしまうと、Adobeのソフトにオリジナルデータを読み込むと自動的に補正されてしまいFreeFrameのオリジナルデータの素のままの表示ができなくなります。
（もしかしたら別途方法があるのかもしれません。）
GoPro Hero 11 Black による 3D VR180 カメラリグ 2023年11月版
GoPro Hero 11 Black に Max モジュラーレンズを付け、それを２セット横に並べて 3D の VR180映像を撮影するようになり約１年少し経過しました。
この組み合わせでVR180映像を撮っている人なんて、おそらく全世界探しても10人も居ないと思われるので、情報は皆無。全て自分で工夫しながら行うしかありません。
3D は基本的にカメラを２台並べて撮れば３D映像が撮れるわけですが、２台並べて撮るにしても、正確に向きや位置を揃えて撮らなければ、３D映像として視聴するには耐えがたい酷い3D映像になってしまいます。
幸い、ここ１年いろいろテストしてわかった事ですが、多少カメラの向きや位置がずれていても、後処理（Adobe AfterEffects）を丁寧に行えば調整できます。 もちろん、ずれにも限度がありますし、正確に向きや位置が合っている事に越したことはありません。
効率的な後処理を考えると、向きや位置が正確に合っている以上に、全ての撮影カットで同一である事が重要です。
つまり、REC の ON/OFF する毎にカメラが微妙に動いて、カット毎にカメラの向きや位置がずれる事が無いようにしなければなりません。
GoProの欠点として、カメラを固定するベースが、ぐらぐらしていて、がっちり完全に固定する事ができません。
そのまま使用すると、REC ボタンを ON/OFF する毎にカメラが微妙に動くのです。
なので、REC ボタンを ON/OFF しなくても良いように、当初は複数のGoProをリモートで同時に制御できるスマホアプリを使用していました。 これなら、一度セットしたGoPro に触れる事なく、電源の ON/OFF 、REC ボタンの ON/OFF の操作ができたのです。
しかし、、
GoProリモートアプリは、とても不安定でした。
特に人が多い所では、電波が干渉するのでしょうか？ 不安定というより、使い物にならないレベルでした。
結局、 リモートアプリを使用する事は辞めて、GoPro本体のREC ボタンを都度指で押すという方法に戻ったのです。
そこで、重要になるのが、GoPro本体のREC ボタンを指で押しても、GoPro本体が動かないようガッチリ固定させる方法です。
専用のカメラリグメーカーがVR180用のリグを発売してくれていれば、それを購入するば良いのですが、そんな既製品はありません。
ここ１年、いろいろ試行錯誤しましたが、今日紹介するのは、ここ１年で辿り着いた最新の私のリグです。
もちろん、これが最終形ではありません。
もし、もっと良いアイデアがあれば、是非とも教えて下さい。
以下の画像は、いずれもジンバル（DJI Ronin RS3）に固定しています。
●片方のGoProを逆さにする事で、レンズ間距離を寄せたり離したりできるシステム
2台のGoProの背面にアクリル板を押し付けてしっかり固定します。
一般的に人の目と目の間の距離、瞳孔間距離（IPD）は、60～65mm といわれています。
なので、3D カメラのレンズ間距離も同じである事が望ましいのです。
ただ、特別な例として、小さな被写体に接近して撮りたい場合、3D カメラのレンズ間を寄せて撮った方が3Dで視聴するには楽に視聴できます。
この場合、被写体の大きさが実際よりも大きく見えてしまいます。
逆に、遠くの被写体を一般的な瞳孔間距離と同じ3Dカメラで撮影すると、立体感があまり感じられず平面的な映像になります。
そこで、あえて3D カメラのレンズ間を広げ、遠くの被写体でも立体的に見えるように撮る事があります。
たとえば、打ち上げ花火は、カメラを5～6m離す事で、球形に開く花火の3D映像が撮れます。
3D カメラのレンズ間を瞳孔間距離より広げて撮った3D VR180映像では、視聴した際には被写体は実際の大きさよりも小さく見えます。
●GoProをシンプルに横に並べて寄せ、前面と背面をアクリル棒を押し当ててしっかり固定します。 前面のアクリル棒は、内蔵マイクを塞いでしまうので、スペーサーを入れて内蔵マイクを塞さがないようにしています。
このシステムでのレンズ間距離はいちばん寄せても 70mm です。
人間を撮ると、実際よりも少し小柄に見えます。
風景ではほとんど違和感が無いので、これが私の基本システムです。
いずれの設定でも4チャンネルサラウンド録音に対応したZOOM ハンディレコーダー 「H2n」を後ろにセットし、 GoProへは、Line（ステレオ）で、メディアモジュラーに入力します。
メディアモジュラーは不要な部分を切り捨てて本体に接続しています。
メディアモジュラーを装着すると GoProがフリーズする頻度が増え、リセットするには電池を抜く必要があるのですが、標準のままだとカメラ固定ネジを外しばらしてから電池を抜くという非常にやっかいな手順なので、単純にメディアモジュラーを引っ張れば取り外せるよう不要な部分を切除しました。
ただ、4チャンネルサラウンド録音はしているものの、Youtubeにアップしている動画は現状はステレオだったり、GoPro内蔵マイクの音だったりします。
【参考資料】
●カメラのレンズ間距離と瞳孔間距離の違いにより被写体の大きさが変化してしまう件の詳細は以下のサイトに詳しい解説があります
https://vrlab.meijo-u.ac.jp/edu/HMD-IPD-distortion.html
● レンズ間を広げて立体感を誇張した 超立体視3D映像 （ Hyperstereoscopy , Exaggerated stereoscopic ）のYoutube再生リスト
https://www.youtube.com/playlist?list=PLMyf7bjc4ZIFopJmhmuMQfiPQC22KFRfJ