頻度主義に対してありがちな「有意水準は恣意的だからダメだ」という批判は、全然問題の本質じゃないんだといことを統計を使う側(つまり、哲学者や統計学者ではなく)のコミュニティで議論している論文がないか探していたら、認知科学の分野で2016年に出た論文が見つかった。

概要:
まず最初に頻度主義を使った検定のプロセスは推論の手続き自体に問題があるということを説明するために、イギリスの裁判で実際に扱われた事件(僕は初めて知った)を紹介し、同様の誤りが頻度主義の検定を使った科学一般で生じていることを説明する。
次に、事例にある過やまりをよりフォーマルな形に再定式化し、重要なのは帰無仮説だけでなく対立仮説も持ち出して、両者を比較することなのだという基本的な主張がなされる。
その後、頻度主義の検定とベイズファクターを使った検定における帰無仮説と対立仮説の比較がどのようになされるかを説明し、その後ベイズファクターを使った検定における事前分布の決め方について言及。

気になった点など:

1. この論文で批判されているのは、頻度主義の検定ではなく、検定の使われ方である。

2. 序盤、検定のプロセスが演繹的に妥当でない(invalid)ことが、ポパー的な反証の概念と対比されて強調される。しかし、対立仮説との比較を持ち出したところで演繹的には妥当でないということは変わらないので、あまり論理的な妥当性という点に強調を置くのは適切でないように思われる。

 

3. 彼らの基本的な立場は、ベイズベイズ言っているけども結局は尤度主義に近い。このことに一言触れておかないと、誤解を招くのでは。

 

 

しかしながら、序盤のエピソードは(現行の慣習における)頻度主義の推論手続きが何をやっているかをわかりやすく伝えてくれるし、ベイズファクターを使った検定の説明もわかりやすい。こういう論文が、統計をあくまで道具として使う領域でもガンガン載るのは良いことだと思う。