線形代数の方法では一番近い答えは，右辺を左辺の column space にprojection することである．A は column space 内部にしか解を持てないのであるから，b をその空間に投影した結果が最も b に近い．図1に幾何学的な解釈を示しておく．matrix A とb は以下である．
Projection は，ここで A が vector であることを考えると，
微積分の手法と同じ結果になったことに注意すること．つまりこれも平均値である．(Projection になじみが薄い読者は，図1で e が A と直交することに注意すると A^T e=0 より，導くことができるだろう．)
Figure1. Project b to A's column space
私にとって興味あることは，なぜこれらが同じになるかである．二次形式の最小化という calculus の問題と projection という幾何の問題という一見異なるものが同じ結果を導いたのは偶然なのか? もちろん偶然ではない．実はこれらは同じものを求めている．
Projection というのは図1 にみるように b からの最短距離である．距離を求める時，ユークリッド空間では二乗和が出てくる(ピタゴラスの定理)．それを最小化するものである．つまり二次形式の最小化である．計算方法や考え方は違うが，目的は同じであった．
以前も書いたが，私は東野圭吾という作家のファンである．容疑者 X の献身という小説には，異なる手法によってたどりつけない答えがあるということがあり，それに関して数学がたとえとして述べられる．しかし，まったく違う手法でも同じ目的を達しようとすると同じ答えが得られる例がここにある．私は東野圭吾さんの小説においての科学に関する記述は結構良いと思うのだが，これに関しては疑問に思ってしまった．私は，数学で問題を同じように設定した場合，様々な手法が，このように同じ結果にたどりつくことができることに数学の面白さを感じる．いや，実は勉強するにつれて，そういうものが増えてくように感じる．違う考えと思っていたものが，実は更に抽象的な考えから別れてきたものであることに気がつくと驚く．それは山に登ると，地上ではある特定の場所からしか見ることができなかったものが，概観できることに似ている．また，地図を見ることにも似ている．この道，あの道，というふうな風景が実はこの道はこう継がっていたのだ，とわかるようなことが数学の面白さにある．それぞれの道が俯瞰できないと，それは違う所にしか行けないように思うが，まったく継がっていない道というのは，多分ないのではないだろうか．
ここでは，あるベクトルに一番近いベクトルを
- 微積分: 誤差を最小化することで
- 線形代数: 投影することで
求めた．
次回はちょっと Kalman filter の話をしよう．Kalman filter は時々刻々と変化する誤差の入ったデータから，次の未来のデータを可能な限り予測する方法である．基本はこれまでに説明したことと同じであるが，面白い工夫があることを最近知ったので紹介したい．