回帰分析

データからAR(1)のモデルを推定する前段階として回帰分析について検討します。

回帰分析の最も簡単なモデルでは個の説明変数と目的変数の関係を次のように表します。



説明変数と目的変数の標本がそれぞれ件ずつ与えられているとします。

件目のに対応するデータをとすると、






後のために、説明変数と目的変数、パラメータをそれぞれ行列とベクトルとして表現します。



ところで、回帰式は次のように書くことができます。


これに合わせて、を次のように定義しておきます。



は変な表記方法ですが、個の全ての成分が1である縦ベクトルを表しています。

最小二乗法では、次の式が最小となるパラメータの組み合わせを計算します。



さて、この式は行列を使って書くと次のようになります。



第2項と第3項は転置の関係にありますが、最終的には実数になるため同じものになります。



ここで、を次のように定義します。



先ほどの式のナブラをとると次のようになり、

極値であるための条件はゼロベクトルと等しくなることです。



後は適当な操作を行なって次のように変換します。



上記のように計算されるが求める値となります。

AR(2)の計算

昨日はAR(1)の特徴量の計算について検討しました。

本日はAR(2)の特徴量の計算について検討します。

の定義は次の通りです。



なお、



です。



とすると、





次に、





とします。

定義式の両辺について、との共分散をとると、



との共分散をとると、



との共分散をとると、



をで割ると、




行列表現を用いると、



したがって、



なお、に関しては、



より、



となります。

AR(1)の計算

前回までの復習を兼ねて、

AR(1)のモデルが与えられている場合にモデルの特徴量を計算する式を示します。







とします。



とおくと、

より、



となります。

つぎに、









また、





これらを合わせて



自己相関に関しては、





より、