Veach 論文に関する私的補足(12) p.71

2.8.2 Regression methods

2.8.2 の式(2.33) は最初謎であった．専門家に聞くとあんまり重要でないから，それよりももっと先を読むべきという答えであった．だからあまりこの話は気にしなくてもいいかもしれない．

ヒントは Equation (2.33) が standard minimum variance unbiased linear estimator of desired mean I とある文にある．これはガウスの最小二乗法のことを言っている．Veach の論文はほとんどの部分が self contain でとてもわかりやすいのだが，個人的にはここでもう一声欲しかった．それは，
式(1)である．

これは各 final estimation F が sample の平均 \hat{I} になるという意味だから，Veach はあまりにあたりまえすぎて書く必要がないと思ったのかもしれない．しかし，この式は私のような素人には式(2.33)を理解するには有用である．式(1)から式(2.33)は導出できるので，やってみよう．

まず，式(1)には通常解がない．Estimator が常にサンプル平均と同じ解を出すことになってしまう．ここで Veach の記法に添って，X^*をX の transpose とし，最小二乗法を適用する．すると式(2)のようになる．

しかしこれはかなりいいかげんである．Veach の論文では，これを洗練した方法として，variance covariance matrix \hat{V}を重みとして使うことを言っている．すると，式(3) が基本の式である．重みが inverse なのは，variance を小さくしたいのでそのinverse を使ったのだろう．あとは最小二乗法で，
式 (4) を得る．この式(4)が式(2.33)と等しい．こうして見るとこの式は自然なことがわかる．