時々新聞に，こういう見出しが躍ることがあります．
そんな 驚異の新薬が出たのなら 医学専門誌や学会でも大騒ぎになるはずだが，と思って 報告された臨床試験の報文を探してみると
有意差がみられた
たしかに
新薬Xは，従来薬Aに比べて 有意に血糖値低下効果が大きかった
とありました．
ただ，そのデータを見ると，ものすごい効果というわけではないのです．
100人で調べて
仮に その新薬Xと従来薬Aとを，それぞれ100人に服用してもらい，血糖値の低下に差があるかどうかを調べたとします．
その結果は こうでした
この場合は『有意差なし』です．
たしかに 新薬Xの方が 『効果あり』の数が，従来薬Aを上回っていますが，その差はわずかです．
しかし，問題はその差ではなくて，データのバラツキ(＝棒グラフの上下に伸びるヒゲ)を考慮すると，両者はかなり重なっているので，本当に差があるとは断定できません． これが『有意差なし』です．
1万人で調べたら
しかし，同じ試験を 新薬X，従来薬A，それぞれ1万人で調べたらこうでした．
この場合は『有意差あり』です． なぜなら両者のデータのバラツキ範囲は重なっていないからです．したがって，この大規模試験により『新薬Xは，従来薬Aよりも効能が高いと証明された』と報道するのは 間違いではありません．
ところが，これら二つのグラフを見比べてください． 新薬Xがよく効くとはいっても，それは従来薬Aに比べて わずかな差なのです．それは100人でも1万人でも同じでした．
つまり『有意差がみられた』とは文字通り『それとわかるほどの差があった』(より正確には「差がない」とは言えなかった＝【帰無仮説の棄却】)というだけであり，それ以上の意味はないのです．
『効能に有意差があった』＝『効能にものすごい差があった』ではありません．
もちろん，すべての新薬がこうだというわけではありませんので，念のため．