Aのカラムが独立である時に逆行列を持つ理由を説明しよう．まず，カラムが独立の場合に n by n の正方行列ならば，これは full rank の正方行列であるから逆行列が存在する．問題は A が rectangle, n by m の場合である．
Strang の説明は null space が前提にある．null space や column space はlinear algebra の基本にあるので，この説明はわかりやすいのだが，私が線形代数を習った時にはあまりとりあげられなかった気がする．多分，私が不注意だったのだろう．ちゃんと勉強していればよかった．．．
null space を考えての説明
これは Gilbert Strang の説明と同じである．null space と逆行列の関係がわかっているとわかりやすいし証明もできるのでこれから説明してみる．
という x を考える． x は null space にある．(A^{T} A) と A は以下のように null space を共有する．
つまり，x が A の null space にあれば x は A^{T} A の null space にもある．あとは，x = 0 しか可能性がないことを示せば良い．
最初に A^{T} の逆行列をかければ良いと思うかもしれないが，Aは長方形の行列なので，A^{T} の逆行列はない．その代わりに，x^{T} を左から乗ずる．
である．x^{T} A^{T} は row ベクトルであり，A x は column ベクトルである．これのかけ算は内積である．A x = b とすると，x^{T} A^{T} = (A x)^{T} = b^{T}であり，b^{T} b = 0 である．(注意: この最後の 0 はベクトルではなくてスカラである．)同一のベクトルの内積で長さが 0 になるのは，0ベクトルしかない．なぜなら内積は \sum (b_i)^2 = 0 (二乗和が0)であるためである．
これはすてきな説明だが，考えてみれば，A の column が独立であることも使える．column が独立であるから，null space には 0しかない．それはA^{T}A も同様であり，column が独立であることがわかる．そして，これが正方行列であることから，正方行列の full rank の行列であることがわかる．A(m by n) は column が独立でも rectangle なので，column space は m 次元を張らないが，A^{T}A は n 次元を張る．したがって inverse が存在する．
ここで，A \neq Bのような B でも，
だから，B と A は null space を共有すると考えることができると思うかもしれないが，それは違う．なぜなら，
であり，これは，二つのベクトル a = (x^{T} B) と b = (A x) が直交することを言っているだけで，(x^{T} B) = 0 とは限らない．この転置は
であり，x^{T} Bが 0^T かどうかは不明である．つまり，xが B の left null spaceにあるかどうかはこの場合にはわからない．つまり，A^{T}AとA は null space を共有するが，任意のBをもってきて，BA と A がnull space を共有するかどうかはわからないことに注意した方が良いと思う．これは Strang の本では注意されておらず，最初私は任意のはずがないので何かおかしいのでは，と疑問に思ってしまった．
次回はちょっと違う視点からこれを説明してみたい．