ステレオカメラの話の続き。
仕組みを考える前に、座標系について知らなければいけません。
一つ目。これは世界座標系です。私たちがいるこの世界の座標系です。
二つ目。カメラ座標系です。
カメラの光学的中心を原点とするカメラ座標系について考えます。
カメラのレンズの向き(これを光軸と言います)をZc座標に取り、それと垂直な平面をXc, Ycに取る座標系です。
カメラ座標系の特徴は原点が焦点の位置にあります。この原点のことを視点と言います。
世界座標系から原点をt移動し、R回転させることでカメラ座標系へ変換させることを考えます。
ステレオカメラではこのように投影変換を繰り返し行っていきます。
座標変換といえば線形代数。
なので、行列の演算が沢山出てきます。
ちなみに、この回転ベクトルRと遷移(移動)ベクトルTのことを外部パラメータと呼びます。
三つ目。画像座標系です。
画像座標系は二次元になります。
カメラを映像に移したときの二次元平面を表します。
良くGUIを作ったりする時にウィンドウの座標を出すときって左上が原点になってませんか?
同じように画像座標系の原点も左上になります。
これらの3つの座標を、投影返還で見ていくのがステレオカメラの基本的な計算になります。
世界座標系 ⇔ カメラ座標系 ⇔ 画像座標系
この変換を行っていくことになります。