自分の理解のメモ書き的意味も含めて。
type1 error とtype2 errorの理解。
まず、
fraud detection example での
fraud -> y=1
legitimate -> y=0
というかたちにしておく。fraud を検出したい。
よって、以下となる。
H0:Fraud, H1:Legitimate
alpha = False positive(Type1 errror)
1-alpha = True positive
beta = False negative(Type2 errror)
1-beta = True positive
まず通常通りのhypothesis test.
alpha = 5% (threshhold)
検定結果がp-value < 5%ならば、
本当はTrueなのにRejectしてしまうType1 errorの確率がThreshholdを下回る
=つまり、Type1エラーの危険性が基準よりも低い為、rejectしても問題なしと判断。
=H0 rejected
ではp-val > 5% のケースは?
Type1エラーの危険性がpreset threshholdより高い。
=Type1 エラーの兆候アリ。
=rejectやめとこ。
=H0 held
でもこれ本当か?=>ここでbeta登場。
=>そもそもH0,H1の設定はarbitrary
=>alpha検定はH0が正しいという前提っぽく見える
=>ではH0が本当だとしてそれのreject or notの妥当性を確かめるalpha検定をjustifyするには?
=>H1を使い。type2 エラーが起きないことを証明すればよい。
=>betaが低ければ、 ”本当はFalseなのにHoldしてしまう”確率が低いということが証明でき。つまり本当はFalseの時Rejectできる確率(1-beta)が有意に高いと証明できる。(statistical power)
If statistical power = high, type2 error is significantly low
-> 本当はFalseのときには正しい判断ができるので、本当はTrueを前提に持つalpha検定の効果がjustifyされる。
To compute statistical power, get p-val from H1.
If the probability of type2 error is significantly low, the result from alpha test which is of holding H0 due to significant low the type1 probability can be well justified. Here, the weakness of alpha test in the case of holding H0 is that the excuse of selecting "hold H0" is just the fact of no choice but to choose it. That flaw can be complemented by statistical power.