放送大学の「心理統計法」(17) から まとめてみました。まあすこし自分なりに補足しながらですが、大体こんな感じにまとまるのかな。正直、いまでも統計の初歩の本はT検定や分散分析を有意性検定でp値使って書いてる本がほとんどなので、ちょっと胸が痛みます。すべての主張を数式で追ってるわけではないので、あしからず、また統計は数学と違って、解釈が入ってくるのでやっかいです(数学に解釈が入ってこないと言ってるわけではなくて、数学も解釈ですが、なんか別物のような)
1.有意性検定は、違いを主張したいのに、背理法で等しいと仮定して、ある統計量を計算してその値が確率的に起こりえないと主張して、矛盾といって違いを主張する。この起こりえない確率がp値ですが まずサンプルサイズが大きくなれば、p値はいくらでも小さくできる。だからビックデータではいつでも有意になって違いが主張できるが、これは等しいという仮定で出発したので、数学的に等しいは、完全に等しいなので 仮に10億分の1の違いでも数学的には違うことになる。つまり現実の世界では、二つのものが数学的な意味で等しいということは、まずない。つまり、結局はサンプルサイズの大きさで、その違いを誤差のブレとみるか本質的な違いと見るかを決定していることになる。
1.の補足 MCMC法の場合は、サンプルサイズが大きくなれば、差がある値を超える確率は0か1に近づく。ベイズ更新で頻度論的な世界に近づくと考えると、背理法を使ってない議論なので、変なことは起きないということでしょうか。
2. 1にも関係するが、違いが認められても、どれだけ違うかは述べられない。これに反し、ベイズ流のアプローチでは、差がこれだけの時の確率が具体的に求まる。
3. 背理法的議論は 複雑で特にp値の解釈は誤解されやすい。また背理法的議論は、それぞれの結果を組み合わせる時、誤解を生じやすく間違いを犯しやすい。
4. 1におけるサンプルサイズを予め決めて、差を見積もる検定力分析とかあるが、これは方法論が確率分布に依存するため、一般化しにくい、なお一般化はどうしても確率分布を積分して積分値を求めないといけないので、高度な数学が要求され、またいびつに既知の確率分布関数に帰着させるため議論が複雑、難解。
5. 4に関係して、初歩的な統計学しか検定は出てこない、高度な統計は、それだけ確率分布がが複雑になり漸近正則性や確率過程などの確率論の高度の理論を屈指して数学的に確率分布関数をもとめたり積分したりとなって、それも限界が来て、結局は一般化線形モデルおよびその混合版は、最尤推定はできなくて、かわりMCMC法を用いて事後確率を計算することになる。あるいは推定や予想の方に問題意識がシフトする。
6. 15回で言われるように、初等的な統計しか有意性検定は使われない、そのくせ難解で暗記を強いる。あと一般化線形モデルなどで尤度がでてきてもこれも暗記になる。それよりかベイズ的アプローチで事後確率を学んだ方が尤度と直接関わっていて、しかもその確率分布を求めるマルコフ過程やそれ使ったMCMC法はどれも同じであって、そこはStanがやってくれて、やり方をとりあえず覚えればよいので、統一的に学べて、変な暗記を強いられずに理論を学べるので有意性検定を排除して、ベイズ的に最初からやったほうが教育的である