2022年11月10に、日本写真測量学会令和4年度秋季学術講演会にて、

株式会社GEOソリューションズさんとの共同研究成果：

「Airpeak S1＋α７Ⅲによる光軸最適化撮影を用いたUAV写真測量の精度検証実験」

の口頭発表を行いました。

講演論文（著者最終原稿）はこちら、発表スライドはこちらです。

発表を聴いて下さった方々から、口頭・チャット・メールで多数のご質問をいただき、私の経験の中でも最も手応えのある発表の1つとなりました。この記事では、いただいたご質問の内容を含め、理解の補助にしていただくための情報をQ&A形式で書いていきたいと思っています。

【光軸最適化撮影とは：1枚1枚を撮る向きを工夫する撮影】

写真測量では一般に、撮る写真の枚数を増やすほど、精度は上がりますが、解析に時間がかかるというトレードオフがあります。しかし、単純な規則によってあるいは感覚で撮るのではなく、被写体に合わせて1枚1枚の撮影の位置や向きを工夫すれば、このトレードオフを乗り越え、「枚数は増やさずに精度を上げる」という欲張りも実現できるでしょう。

本研究では、SfM/MVSを用いたUAV写真測量で、正方形の平坦な領域を測る場合を例に、そのような撮影方法を検証しました。ただし撮影位置も向きも自由にしてしまうと収拾がつかない（自由度が高すぎる＝最適化空間が広すぎる）と考え、撮影位置は従来の代表的な撮影方法：

1．鉛直下向き平行光軸撮影（一定高度の格子状の撮影位置から鉛直下向きに撮る撮り方）

2．斜め往復撮影（1をベースに、カメラをコース前方に一定角度傾ける撮り方）

と同じく、一定高度に格子状に置いています。そして、各位置における撮影の向き、より詳しくは各写真を撮るときのカメラの光軸の向きを、「写る写真枚数の少ない場所が生じないように」調整した撮影方法を試し、これを光軸最適化撮影と名付けています。

より正確には、「対象領域内に、『視線の地表面への入射角45°以内』で写る写真枚数が少ない場所」が出来るだけ生じないように、光軸の向きを調整しています。こうすることで、対象領域の各点が、写った画像ごとに過度に異なる向きで撮られる（→ 画像ごとに見た目がバラバラになる）ことを防ぎ、画像間でのマッチング（複数画像上で同じ点を見つけること）を容易にする狙いがあります。SfMもMVSも、手掛かりは画像間での対応点のマッチング、つまり複数画像で同じ点を見つけることですので、それがしやすいように撮影を設計する必要があるわけです。

なお本研究で試した光軸最適化撮影は、論文中で引用されている修士論文で開発されたもので、今回の発表では開発過程の詳細は、講演論文で簡単に要約するにとどめています。

【新規性：単純な規則を捨て、1からデザインすること】

UAV写真測量の現地実験は、国内外で多数行われてきました。ただし学術論文を検索する限り、撮影方法が明記された論文は基本的に、UAVの飛行計画ソフト・アプリに実装された撮影方法を使っています。例えば、

・平行光軸撮影

・斜め往復撮影

・それを2方向で行うダブルグリッド撮影

・複数の平行光軸撮影を組み合わせて、対象領域外からも斜めに撮るSmart Oblique撮影

・対象領域内の1点を中心にするPOI (Point of Interest)撮影

などです。これらの撮影方法は、単純な規則に基づいています。鉛直下向き平行光軸撮影に斜め撮影を数枚加える撮影方法も試されていますが、それも鉛直下向き平行光軸撮影の変化形です。

本研究のように、光軸の向きを撮影位置ごとに自由に設計するような撮影方法は、学術論文などを調べた限りでは、見つかっていません。

【斜め往復撮影と比べた長所は？】

斜め往復撮影には、次のような欠点があります。

コース前端で対象領域外を「無駄に」撮ってしまう
隣接コース間では光軸の傾きが逆になるので、光軸の向きの差が設定した傾き（天底角）の倍になり、隣接コース画像間の特徴点のマッチングが難しい場合がある。
各コースは単なる平行光軸撮影であるため、隣接コースの画像間の特徴点のマッチングが弱く各コースが孤立気味のとき、焦点距離・放射方向歪み・rollの推定に失敗しやすい。
完全な斜め往復撮影は、Critical Motion Sequenceの1種であり、内部パラメータのB1が写真だけでは推定できない：画素の縦横の長さの違いを考慮することはできない。

本研究で検証した光軸最適化撮影A-Cには、これらの欠点がありません。

【斜め往復撮影と比べた短所は？】

本研究で検証した光軸最適化撮影A-Cの短所としては次が挙げられます。

（開発されたばかりなので当たり前ですが）現時点では実装されている飛行計画アプリがなく、ウェイポイント飛行のミッションなどとして独自に撮影位置・向きを入力する必要があること。
（これも現時点のソフトウェア上の問題に過ぎないと言えますが）UAV・ジンバル・飛行計画アプリによっては、飛びながらカメラの向きを変えられず、各撮影位置で減速・静止する必要のある場合があること。
光軸最適化撮影は被写体に合わせて作成するものなので、例えばA-Cは正方形の平坦地を対象に設計されている。対象領域の大きさ・形状に応じて設計する必要がある（将来的には飛行計画アプリがしてくれることが望ましい）。

【実際の撮影位置・向きの、計画とのズレに対する頑健性は？

　限界を攻めるとデリケートになるのでは？】

撮影の位置・向きが計画と実際でどの程度ずれていたか、及びその「よいアングルで写る枚数」への影響については、まだ評価しておりません。が、チートケース（※）のバンドル調整結果を実際の位置・向きとみなすことで、評価できます。

また、世の中には「限界を攻めるとデリケートになる」設計問題は色々とあるかと思いますが、今回の設計問題はそのようなタイプのものではないと考えています。つまり、発表スライドのp.4の「よいアングルで写る枚数」の図で、撮影の位置や向きが計画と多少ズレた場合を考えると、光軸最適化撮影にも赤い領域が多少は発生しますが、斜め往復撮影のように大きな赤い領域が突然発生することはないでしょう。これは、写る枚数が1枚1枚積み重なるもので、1枚の撮影の失敗によって1枚ぶん以上減ることがないためとも言えます。

※ チートケース（研究室内の用語）：カメラパラメータを最も正しく推定するために、全ての対空標識を標定点としてバンドル調整に動員したケースを指します。

【全画像を斜めにする必要はある？】

リスク分散のためと言えます。

本研究室でも過去には、1枚・2枚・4枚など少数枚の斜め撮影を入れるCG／現地実験を行っていました。少数枚の斜め画像でも、他の鉛直下向き画像との間に多数のタイポイントが得られるように注意深く撮れば、成功することも多いと思います。

ただ、その少数の斜め画像と他の鉛直下向き画像との特徴点のマッチングが、なんらかの理由で十分得られなかったり、その画像の参入によって、他の鉛直下向き画像間でのマッチングの多くが無効と判定されてしまう（Metashapeによるマッチングの有効無効判定に悪影響を与える）事例を経験しましたので、最近は、リスク分散のために全体を傾ける方向に注力しております。

【GCP（標定点）は不要？】

本研究では、GCPを出来るだけ使わないようにしていて、

Phantom 4 RTKについてはGCPゼロ
AirpeakについてもGCPは4隅4点のみ＆SfMに不使用（ジオリファレンスのみに使用）

としています。これは必ずしもGCPゼロのUAV写真測量を想定しているということではなく、撮影方法の良し悪しを議論するために、できれば「画像だけの実力」を評価したいという意図があります。

GCPをSfMに動員してしまうと、GCPの数・配置・検出状況・地上測量精度などが検証点誤差に複雑な影響を与え、撮影方法の良し悪しを一般性をもって評価しにくくなります。

逆に、もしGCPも撮影位置情報も全く用いず、画像だけで純粋なSfMをしたとしたら、

「GCPがない場合でもこの程度の精度になる」という保守的な（安全側の）評価ができます。

そうした正解は、GCPがある場合でも、どんな配置でも参考になります。

実際には、ジオリファレンスをしないと検証点誤差が評価できないため、本研究でもPhantom 4 RTKについては撮影位置情報を、Airpeakについては4隅の対空標識の座標をジオリファレンスに用いています。また、今回はPhantom 4 RTKについて、撮影位置情報をSfM（カメラパラメータの推定）にも利用しており、その意味で「純粋に画像の実力を評価しています」とは言えない、RTKドローンを想定した解析になっていますが、本当は画像だけの実力も評価したいので、現在は撮影位置情報を用いない解析を進めています。

【向きがバラバラだと、マッチングで孤立する画像はない？】

光軸最適化撮影A - Cには、天底角（鉛直下向きからの角度）最大45°の画像が含まれます。こうした天底角が大きめの画像では、特徴点の多くについて、特徴点を見る視線の地表面への入射角が大きくなります。そうすると、他の画像の多くの特徴点との間で、視線の向きの違いが大きくなり、（同じ点で見る向きが違うほど見た目が変わるので）マッチングが難しくなることが多少懸念されます。

そこで下表では、A - Cで撮った各90枚のうち、投影されたタイポイント数（他の画像とマッチングできた特徴点の数；Metashapeの表記では）が最小の5枚について、他の画像とのマッチング状況を示しています。

まず、このタイポイント数ワースト5の表に、ピッチ（今回の場合、これが天底角に近い値となります）が40°以上の画像の多くがエントリーしていることから、確かに天底角が大きいとタイポイントが減る傾向はありそうです。

ただ、タイポイント数が最小の画像でも1500点以上はあることから、「孤立」「ぎりぎり姿勢推定（アライン）できた」というほどの状況では全くなさそうです。また、有効マッチング（マッチングのうち、Metashapeにより有効と判定されたもの）の数が50や100以上の、「しっかりと結びついている」と言える相手画像が、この表に上げた全画像とも10枚以上はあることから、その意味でも、天底角が大きい画像も全く「孤立」しておらず、しっかりと画像のネットワークの中に組み込まれていると言えます。

厳密には「タイポイント数ワースト5」≠「他画像との有効マッチング数ワースト5」ですから、他画像との有効マッチング数が最も少ない画像が、この表にエントリーしていない可能性はあります。全画像について有効マッチング数の合計をチェックしたいところですが、現在のMetashapeには有効マッチング数の合計を表示する機能はなさそうですので、できればrepeatSfMの機能拡張を行いたいと考えています。

【視線の向きが異なれば、同じものでも異なる色に写るのでは？】

はい、そしてその程度は被写体と照明条件により異なります。

照明条件（太陽の位置、直達光・天空光の日射量）自体は空間的に一様と仮定しますと、画素の輝度値（DN値）が視線の入射角にどの程度依存するかは、被写体のBRDF（双方向性反射率分布関数）に依存します。例えば植生ですと、葉の反射特性や、全体の3次元構造（遮蔽・透過などに影響）によると言えます。

おおまかには、

・つるつるした被写体（拡散反射成分に対して鏡面反射成分が強い）や、

・（その地上画素寸法で解像できるスケールの）複雑な3次元構造をもつ被写体

ですと、視線の入射角（見る向き）によって見た目が大きく変わります。従って、2つの視線の見る向きが大きく異なると、マッチングが困難になります。こうした困難を生じにくくする方法として、「被写体表面の平均的な法線方向と、各カメラの光軸方向がズレすぎないようにする」ことが挙げられ、本研究では「視線の入射角45°以内で写る枚数」を基準にすることで、間接的にこれを図っています。

【今回の現地実験では、斜め往復撮影にコース孤立はあったか？】

特定のコースが完全に孤立して、カメラの姿勢推定に失敗するという現象は、確認されませんでした。今回はそうならないように、20°という大きすぎない天底角を採用しています。

ただ、天底角20°でも、過去の実験によれば斜め往復撮影のコース間マッチングは、コース内マッチングと比べて不足しがちです。それが焦点距離の推定誤差などに結び付いている可能性がありますので、今回の実験についても、一部の画像を例にとって数えてみたいと考えています。

【今回の現地実験で、鉛直下向き平行光軸撮影を試さないのは？】

平行光軸撮影では、画像だけによるSfMにおいて焦点距離が数学的に不定となり（求まらず）、GCP（標定点）に頼って焦点距離を求めることになります。その他、放射方向歪みなどの推定にも難があります。過去の多くの現地実験でも、標定点が少ない場合に誤差が非常に大きくなることが示されていますので、今回は実施しませんでした。

平行光軸撮影にも、画像間のマッチングのしやすさ、地上画素寸法(GSD)の均質性など多くの利点がありますが、カメラパラメータ推定の精度を確保するには、複数高度での撮影位置情報や、十分な標定点によるサポートが必要です。本研究室としては、標定点でがっちり固めたUAV写真測量よりは、標定点の少ない手軽なUAV写真測量を指向していて（UAV自体、手軽さが売りの1つということもあって）、平行光軸撮影は現在は検討対象外としています。

【書誌情報】

神野有生・春名正基・藤井達士・栗田匡平・近淳之介・Truc Ho Thanh, Airpeak S1＋α７Ⅲによる光軸最適化撮影を用いたUAV写真測量の精度検証実験, 日本写真測量学会令和4年度秋季学術講演会発表論文集, pp. 41-42, 2022.

撮影枚数を増やさずに精度を上げたい：光軸最適化撮影という可能性