【カメラパラメータの検証点による評価の短所】
UAV写真測量などでは、撮った画像群（写真の集合）からSfMで推定されたカメラパラメータの良さを評価するために、一般に検証点が使われます。しかし検証点による評価には、次のような欠点もあります。
- 検証点を十分な密度で設置しなければ、対象領域を代表した評価にならない。
- 検証点の設置・測量・回収に手間がかかり、また設置が難しい場所もある。
- 検証点自体の地上測量誤差の影響がある。
- 検証点の三角測量に含まれる誤差の影響がある。
従って、望むらくは検証点に全てを任せず、他の方法でも評価したいところです。
【検証点を使わずに、観測誤差が単純な場合の、カメラパラメータの推定の「バラつき」を評価する既存の方法】
一方、撮った画像群でどの程度良いカメラパラメータが推定できそうかを評価するための、検証点を使わない、別のアプローチもあり得ます。単なるSfMが順当に行われたかの確認のことではありません。例えば、誤差が「単純」だった場合のカメラパラメータ推定のバラつきを定量的に評価できる方法です。
①目的関数の形状を用いた分散共分散行列の評価
その方法の1つは、推定されたカメラパラメータの分散共分散行列の理論的評価です。
単純には、タイポイントの画素座標などの観測誤差が互いに独立で、平均0、標準偏差σの正規分布に従うと考えた場合、最小二乗法で得られた解付近での目的関数（最小化する対象：再投影誤差の2乗和など）の形状に基づき、各カメラパラメータの分散や、カメラパラメータ間の相関を評価できます。
Metashapeでも、内部パラメータとタイポイントについては（おそらく上記の仮定に基づく）分散の表示が可能です。外部パラメータについても見たいのですが、見当たりません。
②数値実験による分散共分散行列の評価
もう1つは、分散共分散行列を数値実験で求める方法であり、一言で言えば「画素座標に加えたノイズに対する感度分析」です。ソフトウェアが分散共分散行列を表示してくれない場合に有用と考えられます。
既往研究ではJames et al. (2017)が、次のような方法によるカメラパラメータ・タイポイント座標の分散の評価を提案しました（※）：
- 評価したいデータセット（画像 + 標定点）を使ってSfMを1度行う。
- 観測されたタイポイントの画素座標と、標定点の実測座標を、再投影誤差・標定点残差がゼロになるように編集する。
- 各タイポイントの画素座標に、平均0、標準偏差σの正規分布に従う疑似乱数を加えて、SfMを行う試行を、多数回繰り返す。
- 得られた各カメラパラメータ（など）の、全試行に関する分散を評価する。
※ 簡単のため、標定点を使い、撮影位置などの観測データは使わない場合のみについて書いた
この方法によって、各画像上のタイポイントの
- 数は全く変えずに
- 位置も画像スケールで見ればほぼ変えずに
つまりタイポイントが作る画像間のネットワーク (image network)はほぼリアルなまま、互いに独立で同じ正規分布N(0, σ)に従う画素座標の観測誤差によるカメラパラメータ推定の分散（バラつき）を評価できるというわけです。
σの設定には困るかもしれませんが、「ある一定のσに対して、どちらの画像群がよりpreciseに（バラつき小さく）カメラパラメータを推定できる力がありそうか」といった、異なる撮影方法で得た画像群の相対的な評価には有用でしょう。撮影方法の評価という用途での、当研究室のCG実験との違いは、撮影方法だけでなく各画像上のタイポイントの配置まで、特定の画像群に合わせ込むところです。
【これらの方法の限界】
しかし上記の方法①②とも、
- カメラパラメータ推定誤差のバラつきの評価方法であってバイアスは評価できない
- 通常はタイポイントなどの観測誤差が「互いに独立で正規分布に従う」などの単純な仮定を置いて使われる（観測誤差に関する十分な情報がないので仕方ない）
ため、これらが現実のカメラパラメータの良さを評価するのに十分だとは考えられていません。
点群にドーム状変形などを生じさせるような深刻なカメラパラメータ推定誤差は、観測誤差間の従属性や、カメラパラメータ推定のバイアス（誤差の平均成分）などに関係する可能性があります。James et al. (2017)やJames et al. (2020)も、ドーム状変形などの系統誤差は上記の分散では評価できない旨を書いています。
James, M. R., Robson, S., and Smith, M. W. (2017) 3-D uncertainty-based topographic change detection with structure-from-motion photogrammetry: precision maps for ground control and directly georeferenced surveys. Earth Surf. Process. Landforms, 42: 1769– 1788. doi: 10.1002/esp.4125.
James, M. R., Antoniazza, G., Robson, S., and Lane, S. N. (2020) Mitigating systematic error in topographic models for geomorphic change detection: accuracy, precision and considerations beyond off-nadir imagery. Earth Surf. Process. Landforms, 45: 2251– 2271. https://doi.org/10.1002/esp.4878.
【ただそもそも、カメラパラメータの推定の「バイアス」はあるのか？】
では、そうだとしたら、バイアスはどのように評価し得るのでしょうか。
観測誤差が互いに独立で平均0、標準偏差σの正規分布に従う場合、モデルのパラメータの最小二乗推定（最小二乗法による推定）は最尤推定（最尤法による推定）とみなせます。Excelの「近似直線」などの線形回帰モデルでは最尤推定量は不偏性をもつ（観測とそれに基づくモデルパラメータの最尤推定を無限回繰り返せば、モデルのパラメータの誤差の平均値はゼロになる）ので、バイアスを気にする必要はありません。
一方、一般には最尤推定量に不偏性はなく、漸近的な不偏性（観測が増えるにつれて、バイアスが0に近づく）しかありません。残念ながら非線形の共線条件式が作るSfMのモデルも、恐らく有限個のタイポイントに対しては不偏ではないと思われます（文献によっては最尤推定量が不偏と書いてあるので、確証はない）。
【検証点を使わずに、バイアスについて情報を得る方法はないのか？】
では、上記の②のような数値実験で、バイアスは評価できないでしょうか？
観測誤差が互いに独立で平均0、標準偏差σの正規分布に従う場合のバイアスならば、ノイズと同様に、近似的に評価可能と思われます。ステップ4で分散ではなく平均を評価すればよいわけです。ただ、
- 深刻な検証点誤差を生じるバイアスは、このように「単純」な観測誤差の場合ではなく、観測誤差どうしの非独立性を主要因として生じる可能性があります。言い換えると、この方法の仮定のもとではごく小さなバイアスしか生じない可能性があります。SfMでは暫定的な（推定途中の）カメラパラメータに基づいて、マッチングの正誤を判定したりしますので、観測誤差同士の非独立性（従属性、互いへの依存性）は生じやすいと思われます。
- 上記の②のステップ2の操作をしてよいのかについては、ノイズの評価の場合よりも違和感があります。うまく表現できませんが・・・