会社を辞めた社会人が大学院留学したブログ -2ページ目

会社を辞めた社会人が大学院留学したブログ

留学に至るまでの経緯と現状を書き残したいと思います。在オーストラリア。

自分の理解のメモ書き的意味も含めて。

type1 error とtype2 errorの理解。

 

まず、

fraud detection example での

fraud -> y=1

legitimate -> y=0 

というかたちにしておく。fraud を検出したい。

 

よって、以下となる。

H0:Fraud, H1:Legitimate

alpha = False positive(Type1 errror)

1-alpha = True positive

beta = False negative(Type2 errror)

1-beta = True positive

 

まず通常通りのhypothesis test.

alpha = 5% (threshhold)

 

検定結果がp-value < 5%ならば、

本当はTrueなのにRejectしてしまうType1 errorの確率がThreshholdを下回る

=つまり、Type1エラーの危険性が基準よりも低い為、rejectしても問題なしと判断。

=H0 rejected

 

ではp-val > 5% のケースは?

Type1エラーの危険性がpreset threshholdより高い。

=Type1 エラーの兆候アリ。

=rejectやめとこ。

=H0 held

 

でもこれ本当か?=>ここでbeta登場。

=>そもそもH0,H1の設定はarbitrary

=>alpha検定はH0が正しいという前提っぽく見える

=>ではH0が本当だとしてそれのreject or notの妥当性を確かめるalpha検定をjustifyするには?

=>H1を使い。type2 エラーが起きないことを証明すればよい。

=>betaが低ければ、 ”本当はFalseなのにHoldしてしまう”確率が低いということが証明でき。つまり本当はFalseの時Rejectできる確率(1-beta)が有意に高いと証明できる。(statistical power)

 

If statistical power = high, type2 error is significantly low

-> 本当はFalseのときには正しい判断ができるので、本当はTrueを前提に持つalpha検定の効果がjustifyされる。

 

To compute statistical power, get p-val from H1.

If the probability of type2 error is significantly low, the result from alpha test which is of holding H0 due to significant low the type1 probability can be well justified. Here, the weakness of alpha test in the case of holding H0 is that the excuse of selecting "hold H0" is just the fact of no choice but to choose it. That flaw can be complemented by statistical power.