なぜ A^{T}A は逆行列を持つのか(4) Linear Algebra

補足: null space と column space

今回は null space を使った証明があったので，一応 null space に関しても述べておく．null space をご存知の方は飛ばしてもかまいません．

A の null space とは0 でないベクトルx のうち， Ax = 0 となるx の集合である．

null space を持つ square matrix の例として次の Aを考える．

これは x \neq 0 の時，

が解の一つである．したがって，この x は A の null space である．スカラ倍した ax, a\neq 0 も解であり，null spaceである．この例を見ると，square な matrix の場合には matrix が singular なことがわかる．sigular でないとnull space には 0 しかない，なぜなら，singular でなければ逆行列が存在し，

となり x = 0 が確定する．この場合には null space がないとも言う．

null space を持つ Rectangular matrix の場合として，次の例を考える．

この解は先の例と同じであり，

である．

ところで，以上は定義の話である．ここで終わりにしても良いのだが，もう少しnull space の意味に関して説明してみたい．逆行列に関しての話をしたいので，ここでは square matrix について述べる．なぜなら，rectangule matrix では，連立方程式として考えると式の数が変数に対して多すぎるか少なすぎるかのどちらかであるので，逆行列がないからである．

null space は行列が singular かどうか，つまりカラムが独立しているかどうかに関連している．なぜなら，A を column vector で書いて，xと乗算すると，

となる．つまり，Axとは，係数 x_i とした column vector a_iの linear combination である．これが 0 になるかどうかが，null space の意味の一つである．

また， column に注目すると Ax = b の bは column のlinear combination でしかありえない．column の linear combination が作る空間を column space という．n 次元空間に n の独立した (column) vector があればどんな n 次元上の点も表現できる，つまり解があるので，この場合には逆行列がある．逆行列がある場合，column の linear combination が 0になることは， x= 0 のみしかない．これは null space がない(= 0 のみがある)ことを示している．

これが null space, column space と逆行列の存在についての関係である．いかがだろうか．



Acknowledgements

この説明を聞いて下さった Marc D. に感謝します．

なぜ A^{T}A は逆行列を持つのか(3) Linear Algebra

ところで，友人から私の blog はさっぱりわからないという話を聞いているのですが，そうでしょうか．もし，こういう説明が不足しているというのがあったら教えて下さい．

Linear combination と座標変換を考えての説明

これは null space を考えないで良いのだが，一箇所私には厳密な証明ができないので，厳密に正しいと言えない．ただ，null space を使っての証明ができているので，理解の助けにはなると思う．

A のカラムが独立であることから，独立したベクトルがどのように行列の中にあるか図示すると以下のようになる．また，結果の各カラムはどのように計算されるかも示した．

A^T は線形作用素であるから，

これが 0 になるのは A^{T}a_* が degenerate する場合である．この行列を column vector の座標変換と考えると，独立した (A^T の) 独立したrow vector が独立した column vector に投影されている．結果はdegenerateしない限り，独立したcolumn vector の独立性は保たれる．

さて，degenerate するかどうかは残念ながら私には厳密には証明できないが，ある独立したベクトルのセットを座標変換しても独立したままであるという直感はそんなに遠くないのではないだろうか．

また，この行列は metrix tensor になっていることにも注意すると良いだろう．この考えは杉原厚吉先生のグラフィクスの数理という本の第一章に詳しい．(ところで，私の持っている初版第三刷には，p.19 の式 1.20 に誤植があるので注意されたい．)

次回は補足として null space と column space，そして逆行列の関係をまとめてみます．補足なので話としてはこれで終わりです．

なぜ A^{T}A は逆行列を持つのか(2) Linear Algebra

A^{T}Aが逆行列を持つ理由

Aのカラムが独立である時に逆行列を持つ理由を説明しよう．まず，カラムが独立の場合に n by n の正方行列ならば，これは full rank の正方行列であるから逆行列が存在する．問題は A が rectangle, n by m の場合である．

Strang の説明は null space が前提にある．null space や column space はlinear algebra の基本にあるので，この説明はわかりやすいのだが，私が線形代数を習った時にはあまりとりあげられなかった気がする．多分，私が不注意だったのだろう．ちゃんと勉強していればよかった．．．


null space を考えての説明

これは Gilbert Strang の説明と同じである．null space と逆行列の関係がわかっているとわかりやすいし証明もできるのでこれから説明してみる．

という x を考える． x は null space にある．(A^{T} A) と A は以下のように null space を共有する．

つまり，x が A の null space にあれば x は A^{T} A の null space にもある．あとは，x = 0 しか可能性がないことを示せば良い．

最初に A^{T} の逆行列をかければ良いと思うかもしれないが，Aは長方形の行列なので，A^{T} の逆行列はない．その代わりに，x^{T} を左から乗ずる．

である．x^{T} A^{T} は row ベクトルであり，A x は column ベクトルである．これのかけ算は内積である．A x = b とすると，x^{T} A^{T} = (A x)^{T} = b^{T}であり，b^{T} b = 0 である．(注意: この最後の 0 はベクトルではなくてスカラである．)同一のベクトルの内積で長さが 0 になるのは，0ベクトルしかない．なぜなら内積は \sum (b_i)^2 = 0 (二乗和が0)であるためである．


これはすてきな説明だが，考えてみれば，A の column が独立であることも使える．column が独立であるから，null space には 0しかない．それはA^{T}A も同様であり，column が独立であることがわかる．そして，これが正方行列であることから，正方行列の full rank の行列であることがわかる．A(m by n) は column が独立でも rectangle なので，column space は m 次元を張らないが，A^{T}A は n 次元を張る．したがって inverse が存在する．

ここで，A \neq Bのような B でも，

だから，B と A は null space を共有すると考えることができると思うかもしれないが，それは違う．なぜなら，

であり，これは，二つのベクトル a = (x^{T} B) と b = (A x) が直交することを言っているだけで，(x^{T} B) = 0 とは限らない．この転置は

であり，x^{T} Bが 0^T かどうかは不明である．つまり，xが B の left null spaceにあるかどうかはこの場合にはわからない．つまり，A^{T}AとA は null space を共有するが，任意のBをもってきて，BA と A がnull space を共有するかどうかはわからないことに注意した方が良いと思う．これは Strang の本では注意されておらず，最初私は任意のはずがないので何かおかしいのでは，と疑問に思ってしまった．

次回はちょっと違う視点からこれを説明してみたい．