新しい薬が古いものと比べて有意な差があるか否かを検査したいとする
古い薬は大量の臨床データをもっており 60%の確率で薬が効く(何らかの改善が認められる)ことがわかっている
いま新しい薬で臨床試験をしてみると
1000人のサンプルで700人に効果があることがわかった (70%に効果があった)
では この新しい薬は古い薬よりもより良いものと言えるか否か(有意な差があるか否か) これを判定したい
有意水準5%で判断せよ などという場合
この場合70%という結果が従来の有効率のもとで計算した場合の上位5%に入っていれば その新しい薬は有意水準5%では有意な差があったという
しかしそれが上位5%に入っているからと言って
新しい薬が古い薬よりもすぐれていると断定できるものではない