なぜ A^{T}A は逆行列を持つのか(1) Linear Algebra

A^{T}A という行列のかけ算は最小二乗法で頻出する．この行列はカラムが独立であれば: 正方行列，Symmetric, 逆行列を持つ というすばらしい特徴がある．これはなぜかということを説明してみたい．この説明は，Gilbert Strang のIntroduction of Linear Algebra, 4th edition の説明を基礎にしており，それは null space と二次形式の考えを使っていて，とてもすばらしい．しかし，単に Strang の方法を説明するだけでは芸がないので，geometric な私の説明も加えてみたい．ただし，証明できなかったので，Strang の説明に比較すると蛇足でしかないが，私には geometry 的ということもあって直感的である気がする．お楽しみ頂けたら幸いです．私の説明が駄目でも Strang のすばらしい説明があるので大丈夫でしょう．


A^{T}Aの性質


A^{T}A という行列のかけ算は頻出する．これは Projection の時に出てくるものであり，また，最小二乗法でも出てくるパターンである．(実際にはこれら2つは同じものであるが)

通常の問題では以下のような状況が仮定できる場合が多い．


- Aが正方行列ではない場合の最小二乗法．通常，m by n で m > n の場合，つまり，式が解よりも多い場合である．たとえば問題として，ある信号を観測する場合や統計をとるような場合がある．これは観測を考えると，同じ観測を何度も繰り返すことで実際のパラメータ数よりも観測数が多い場合に相当する． m < n の場合でも観測を増やすことは通常可能なのでこの形にすることができる．

- A のカラムが独立であることが期待できる．そうでない場合にはそういうカラムを捨てることができる．ただやみくもに捨てると重要なモデルのパラメータも捨ててしまい，間違った答えを導く可能性もあるので，これは単に技術的にできるという問題であってちょっと弱いかもしれない．


上記の条件のうち，二番目のカラムの独立性が満たされる場合には，A^{T}A は次のすばらしい性質を持つ．

- 正方行列
- Symmetric
- 逆行列を持つ

これは使える．

A のカラムが独立であることは必要条件である．そうでない場合にはA^{T}A が逆行列を持たないことは，

の例を見れば一目瞭然であろう．

正方行列にはるのは，[n by m] [m by n] が [n by n] になることからわかる．

Symmetric は，

からわかる．ここで，A^{{T}^{T}} = A, 転置の転置は元の行列であることを使った．問題は逆行列があるかどうかである．