GIVEとGMM。 | インターネット広告代理店で働くデータサイエンティストのブログ
こんにちは第4回を担当させていただく@housecat442です。

今回は第2回に引き続いて操作変数法をGMMの特殊ケース(GIVE)として説明し、最後に一般的なGMMをさくっと説明しようと思います。



さて今回の記事はGMMというお題目なのですが、この推定方法の何がそんなにうれしいのでしょうか?
一般的に言われることは以下の3つだと思います。
1.そもそも分布の仮定がいらない。

2.未知の形の分散不均一があってもオッケー

3.モデルが一階の条件から解けないような場合でもパラメーターが推定できる。

アナリストから見ればこれらの条件は結構おいしそうに見えるのではないでしょうか。



ではインターネット広告を分析するうえでうれしい事って何でしょうか?
1.IVを大量に導入して運用型広告の分析で起きる問題を改善できる

2.Dynamic Panelの様な分析で用いることでより高い推定精度を期待できる

3.回帰式などでは扱えない多少複雑なモデルを扱える。

これらの3つは結局のところ、

もっと精度の高いシュミレーションを作れる。

とか、

簡単な分析では見えなかった関係性が見えてくる、

といった基本的な部分の補強に繋がるのかなと考えています。




まず前回と同じように誤差項と説明変数が相関しているケースを考えます。



この時、xはK個の説明変数を表しているとします。
誤差項と説明変数が相関してしまっている為に、OLSでの推定は誤差項と説明変数が相関していないというモーメント条件に反してしまう為望ましくありません。

そこで、問題を解決するためにR個のInstrumental Variable(操作変数)を持ってきてモーメント条件を以下の様にします。


もしR=Kであるのならば、つまり元のモデルの説明変数の数とIVの数が同じであるならば、これを標本で求めてβについて以下の様に解く事が可能です。



ここまでが前回の記事の内容となっています。

さて、場合によってはIVを多数導入する必要があるケースがあります。もし、R>Kという状況になった時、モーメント条件の数が多くなってしまう為に上で書いたような方法ではβを推定する事が出来ません。

よって、代わりにR個あるモーメント条件がなるべくゼロに近づくようなβを計算してそれをパラメーターの推定値として扱います。
ここで出てくるのが以下の様なコスト関数です。2つ目の式は行列形式で記述したもので全く同じものです。



この様なコスト関数を最小化するβがR個あるモーメント条件がなるべくゼロに近づくようなβとなります。
Wは重み行列で、以下の様に定義されます。



さて、モーメントの共分散の逆行列が重みになっている理由はなんなのでしょうか?
Marno Verbeekという計量経済学者は著書のA Guide to Modern Econometrics中で、

”より小さい分散を持つ標本モーメントはパラメーターに関するより正確な情報をもたらしてくれるため、分散の大きい標本モーメントよりも重みを付けるべきだ”

と書いています。つまり、この様な重みの定義によって最適化を解く際に分散の小さいモーメント条件が優先的に考慮されてパラメーターが決定されるわけです。

行列以外の書き方だとちょっと面倒なので、以下行列の形式でパラメーターの求め方まで書いていきたいと思います。
まずQをβについて最小化し、一階の条件を求め、それをβについて解きます。
そして重み行列に代入すればパラメーターを求めることが出来ます。



さて、これでIVの数がKよりも多い時においてもパラメーターを推定することが出来ました。






このまま終わると前回GMMやりますとか言っていたので怒られてしまいます。
なのでGMMについてもさくっと説明をしてから終わりたいと思います。

まず推定したいモデルのモーメント条件と標本モーメント条件を出します。

そしてコスト関数を先程と同じ形で定義します。
重みもモーメントの共分散の逆行列とします。



ここまでは先程と全く一緒です。しかしながら、今回はモーメントの分散が事前に解っていません。また、重み行列がパラメーターの関数になっている為に推定に多少工夫が必要となります。

まず重み行列に適当な値を振ってコスト関数の最小化を行います。そしてその結果として得たパラメーターから重み行列を推定して、コスト関数に代入して再びコスト関数の最小化を解くという2step approachを行わなくてはなりません。

ちなみにこのステップを何回か繰り返して推定を行うiterate approachという方法もあります。

パラメーターの標準偏差どうやって計算するの?とか推定時に何に気を付けないといけないか?とかは省略させていただきます。記事の最後に参考図書を挙げるのでそちらの参照を宜しくお願い致します。



さて、今回もだいぶ自由に書きましたが、おそらくかなりの方が数式を見てそっとページを閉じただろうと思います。

次回はその辺りを反省しつつ、もう少しイメージで説明できそうな基礎的な部分を書きたいと思います。



A Guide to Modern Econometrics/Wiley
¥7,115
Amazon.co.jp

上で挙げたMarno Verbeekの教科書です。
WoodridgeのIntroductory Econometricsの次当たりに読めば良いかなというレベルの本です。
直感的な説明が多い為数学が決して得意ではないという人には結構良いかと思います。
数学出来る方は素直にGREENを読めばいいと思います。