2022年11月10に、日本写真測量学会令和4年度秋季学術講演会にて、
株式会社GEOソリューションズさんとの共同研究成果:
「Airpeak S1+α7Ⅲによる光軸最適化撮影を用いたUAV写真測量の精度検証実験」
の口頭発表を行いました。
講演論文(著者最終原稿)はこちら、発表スライドはこちらです。
発表を聴いて下さった方々から、口頭・チャット・メールで多数のご質問をいただき、私の経験の中でも最も手応えのある発表の1つとなりました。この記事では、いただいたご質問の内容を含め、理解の補助にしていただくための情報をQ&A形式で書いていきたいと思っています。
【光軸最適化撮影とは:1枚1枚を撮る向きを工夫する撮影】
写真測量では一般に、撮る写真の枚数を増やすほど、精度は上がりますが、解析に時間がかかるというトレードオフがあります。しかし、単純な規則によってあるいは感覚で撮るのではなく、被写体に合わせて1枚1枚の撮影の位置や向きを工夫すれば、このトレードオフを乗り越え、「枚数は増やさずに精度を上げる」という欲張りも実現できるでしょう。
本研究では、SfM/MVSを用いたUAV写真測量で、正方形の平坦な領域を測る場合を例に、そのような撮影方法を検証しました。ただし撮影位置も向きも自由にしてしまうと収拾がつかない(自由度が高すぎる=最適化空間が広すぎる)と考え、撮影位置は従来の代表的な撮影方法:
1.鉛直下向き平行光軸撮影(一定高度の格子状の撮影位置から鉛直下向きに撮る撮り方)
2.斜め往復撮影(1をベースに、カメラをコース前方に一定角度傾ける撮り方)
と同じく、一定高度に格子状に置いています。そして、各位置における撮影の向き、より詳しくは各写真を撮るときのカメラの光軸の向きを、「写る写真枚数の少ない場所が生じないように」調整した撮影方法を試し、これを光軸最適化撮影と名付けています。
より正確には、「対象領域内に、『視線の地表面への入射角45°以内』で写る写真枚数が少ない場所」が出来るだけ生じないように、光軸の向きを調整しています。こうすることで、対象領域の各点が、写った画像ごとに過度に異なる向きで撮られる(→ 画像ごとに見た目がバラバラになる)ことを防ぎ、画像間でのマッチング(複数画像上で同じ点を見つけること)を容易にする狙いがあります。SfMもMVSも、手掛かりは画像間での対応点のマッチング、つまり複数画像で同じ点を見つけることですので、それがしやすいように撮影を設計する必要があるわけです。
なお本研究で試した光軸最適化撮影は、論文中で引用されている修士論文で開発されたもので、今回の発表では開発過程の詳細は、講演論文で簡単に要約するにとどめています。
【新規性:単純な規則を捨て、1からデザインすること】
UAV写真測量の現地実験は、国内外で多数行われてきました。ただし学術論文を検索する限り、撮影方法が明記された論文は基本的に、UAVの飛行計画ソフト・アプリに実装された撮影方法を使っています。例えば、
・平行光軸撮影
・斜め往復撮影
・それを2方向で行うダブルグリッド撮影
・複数の平行光軸撮影を組み合わせて、対象領域外からも斜めに撮るSmart Oblique撮影
・対象領域内の1点を中心にするPOI (Point of Interest)撮影
などです。これらの撮影方法は、単純な規則に基づいています。鉛直下向き平行光軸撮影に斜め撮影を数枚加える撮影方法も試されていますが、それも鉛直下向き平行光軸撮影の変化形です。
本研究のように、光軸の向きを撮影位置ごとに自由に設計するような撮影方法は、学術論文などを調べた限りでは、見つかっていません。
【斜め往復撮影と比べた長所は?】
斜め往復撮影には、次のような欠点があります。
- コース前端で対象領域外を「無駄に」撮ってしまう
- 隣接コース間では光軸の傾きが逆になるので、光軸の向きの差が設定した傾き(天底角)の倍になり、隣接コース画像間の特徴点のマッチングが難しい場合がある。
- 各コースは単なる平行光軸撮影であるため、隣接コースの画像間の特徴点のマッチングが弱く各コースが孤立気味のとき、焦点距離・放射方向歪み・rollの推定に失敗しやすい。
- 完全な斜め往復撮影は、Critical Motion Sequenceの1種であり、内部パラメータのB1が写真だけでは推定できない:画素の縦横の長さの違いを考慮することはできない。
【斜め往復撮影と比べた短所は?】
本研究で検証した光軸最適化撮影A-Cの短所としては次が挙げられます。
- (開発されたばかりなので当たり前ですが)現時点では実装されている飛行計画アプリがなく、ウェイポイント飛行のミッションなどとして独自に撮影位置・向きを入力する必要があること。
- (これも現時点のソフトウェア上の問題に過ぎないと言えますが)UAV・ジンバル・飛行計画アプリによっては、飛びながらカメラの向きを変えられず、各撮影位置で減速・静止する必要のある場合があること。
- 光軸最適化撮影は被写体に合わせて作成するものなので、例えばA-Cは正方形の平坦地を対象に設計されている。対象領域の大きさ・形状に応じて設計する必要がある(将来的には飛行計画アプリがしてくれることが望ましい)。
撮影の位置・向きが計画と実際でどの程度ずれていたか、及びその「よいアングルで写る枚数」への影響については、まだ評価しておりません。が、チートケース(※)のバンドル調整結果を実際の位置・向きとみなすことで、評価できます。
また、世の中には「限界を攻めるとデリケートになる」設計問題は色々とあるかと思いますが、今回の設計問題はそのようなタイプのものではないと考えています。つまり、発表スライドのp.4の「よいアングルで写る枚数」の図で、撮影の位置や向きが計画と多少ズレた場合を考えると、光軸最適化撮影にも赤い領域が多少は発生しますが、斜め往復撮影のように大きな赤い領域が突然発生することはないでしょう。これは、写る枚数が1枚1枚積み重なるもので、1枚の撮影の失敗によって1枚ぶん以上減ることがないためとも言えます。
※ チートケース(研究室内の用語):カメラパラメータを最も正しく推定するために、全ての対空標識を標定点としてバンドル調整に動員したケースを指します。
- Phantom 4 RTKについてはGCPゼロ
- AirpeakについてもGCPは4隅4点のみ&SfMに不使用(ジオリファレンスのみに使用)
逆に、もしGCPも撮影位置情報も全く用いず、画像だけで純粋なSfMをしたとしたら、
「GCPがない場合でもこの程度の精度になる」という保守的な(安全側の)評価ができます。
そうした正解は、GCPがある場合でも、どんな配置でも参考になります。
実際には、ジオリファレンスをしないと検証点誤差が評価できないため、本研究でもPhantom 4 RTKについては撮影位置情報を、Airpeakについては4隅の対空標識の座標をジオリファレンスに用いています。また、今回はPhantom 4 RTKについて、撮影位置情報をSfM(カメラパラメータの推定)にも利用しており、その意味で「純粋に画像の実力を評価しています」とは言えない、RTKドローンを想定した解析になっていますが、本当は画像だけの実力も評価したいので、現在は撮影位置情報を用いない解析を進めています。
【書誌情報】