その有意差に意味はあるか

一般的によく利用されている仮説検定の手法にt検定があります。
これは、2群間(2つのグループ)の平均値の差を検出する手法ですが、ほかの仮説検定と同じようにサンプルサイズに大きな影響を受けます。

サンプルが少なければ「有意差が出にくく」、サンプルが増えれば「有意差が出やすくなる」わけです。このときの有意差とは、標本における差が母集団でも同じように認められるということでです。

サンプルさえ増やせば標本における2群間の差は有意差として認めやすくなる。

そこで、必要になる視点が
「有意差として意味があっても、研究上の差としては意味があるのだろうか」

という点になり、この点を見落としているレポートや論文を見かけることが多いです。
研究上の差としては意味がなくても、有意差が出ることは断然としてあります。
サンプルさえ増やせばいいのだから･･･。

大量データを扱う分析者が仮説検定を利用しない、または仮説検定という手法を知らない事実は、この辺りにも理由があるのです。