http://rsos.royalsocietypublishing.org/content/royopensci/4/2/160254.full.pdf

 

 

Royal Society Open Scienceに掲載された論文の概要:

頻度主義を用いた検定(null hypothesis significance testing (NHST) framework )を採用した医療系研究をメタ解析したところ、検出力(1-β)の値は、実際には20%弱しかないことが多いとわかった(全体の研究例のうち、概ね50%前後)。

慣習的に、検出力は「80%程度あると望ましい」とされるが、この水準をはるかに下回る値だ。

 

大久保のコメント:

 

1. 検出力が低いと、「対立仮説がリジェクトされなかった」という結論が、「帰無仮説をアクセプトすべし」という結論を導いて良いのか、「単にサンプルサイズが小さすぎただけだ」ということなのか区別できなくなる。これは科学研究にとって重大な問題である。

 

2.「え、そもそも帰無仮説がアクセプトされるなんてありえないでしょ。教科書でそう読んだゾ」とお思いの方、ネイマンーピアソンの仮説検定とフィッシャーの有意性検定の違いについて大久保が論文を用意しているのでしばしお待ちいただきたい。

 

検出力という概念は、現代の統計処理において広く通用しているが、実際には非常に込み入った概念で、「今回の研究において検出力はXX%でした」みたいな使い方をするのが果たして適切であるかというと、少し疑問が残る。

 

3. 尤度主義的統計検定や、ベイズ統計学的検定では、検出力という込み入った概念に基づく数値の代わりに、非常に直感的で理解のしやすい数値が出力される。帰無仮説と対立仮説があった時、上記の検定で出力される結果は以下の3パターンあるからだ。

 

1. 帰無仮説が支持される (その支持の程度は〜〜である)。

2. 対立仮説が支持される(その支持の程度は〜〜である)。

3. どちらかの仮説を支持するには、情報が少なすぎる

 

3.の場合データを再収集し、統合されたデータセットを用いて再度検定する、ということができる。

 

一方頻度主義の検定の場合、一度検定したデータセットに、新たなデータを継ぎ足してもう一度検定する、ということは許容されない。

 

 

 

 

Reference:

 

Dumas-Mallet E, Button KS, Boraud T, Gonon F, Munafò MR. 2017 Low statistical power in biomedical science: a review of three human research domains.

R. Soc. open sci. 4: 160254. http://dx.doi.org/10.1098/rsos.160254