線形代数と微積分と単純なカルマンフィルタの関係が面白かったのでここにメモを示す．
Problem
単純な観測データ列(x_i)に対して，それぞれが同じ可能性で発生すると考えて最小二乗法を使ってみる．実際，このような簡単な設定ではこれは平均に等しくなる．これは Gilbert Strang の Introduction to Linear Algebra の Chapter4.2 にある．
たとえば，観測データが，[70 80 120]^T の時，それぞれが同じ可能性で発生するならば，
x = 70
x = 80
x = 120
である．これは変な式かもしれない．x が 70 でかつ 80 かつ 120 であるというふうに見えるからだ．ここでは，これらは観測データなので誤差がどこかに入っているために毎回違う値になっているだけで，実は同じものを観測しているというふうに考える．そして観測データから最もそれらしい値を求めようという動機がある．
つまり，
である．残念ながらこのような式を満たす x' はない．しかし，多分測定誤差とかがあるから上手くいかなかったのであろうと考え，もっともありそうな x というのは何かを考える．
Calculus way
まずは微積分の考えを使ってみる．アイデアは観測した結果には誤差があると考え，どんな x であれば誤差が最小になるかということを求めるというものである．これはガウスの最小二乗法の考えである．まずは二乗誤差(E)を計算する．これも Strang の本にある．
E = (x-70)^2 + (x-80)^2 + (x-120)
これは x^2 の式なので，放物線(parabola)である．つまり最小点がどこかに一つある．そのような最小点は微分して傾きが0の点であるから，
となる x をみつけることになる．計算してみると，
よくみるとこれは平均値である．もっともありそうな x は平均というのは私の直感には合うのだが，実はどんな意味でそうなのか，というのはあまり考えたことはなかった．この場合，偏差が比較的小さいのであまり問題にならないが，偏差が大きい場合には直感から外れてしまう．これについては以前 A 6σ Woman という話で書いたことがある．平均は最小二乗法の意味で最適であったのだ．
次は線形代数的な方法を使って最良の x を求めてみよう．