どどどどうしましょう、みなさん!

TAKESANさん運営の某掲示板 から。
いわゆるタイプ１エラーの話。有意水準5%ということで話が進んでいます。太字強調は引用者。

352.ABO FAN 2008/12/27 00:28

>>338

> 細かいなあ。(^^;;

すみません。
数々の議論で懲りてますからね。(^^;;
念には念を入れて…と。

> だから、項目が100個あったら、5個は有意差が出てもおかしくないわけでしょ？
> あ、当然ながら、項目はそれぞれ独立だという仮定が入りますが。

本当にわかっているのでしょうか？
少々不安です。
有意差の有無を無視して、任意の100項目を選択した場合、「5個は有意差が出てもおかしくない」のではありませんよ。
しつこいようですが、有意差の出ている任意の100項目を選択した場合、「5個は誤って有意差が出ていていてもおかしくない」ということです。
念のため。

突然異次元に連れ去られた気分になり、以下のように返信した。

368.FSM 2008/12/27 01:16

(略)

え？えええ？？？ええとどうしたらいいのでしょう＞みなさん
ABO FANさんと同じことを言っていると思っていたのですが…。

ここに1枚のコインがあります。投げて表と裏が出る確率は丁度0.5づつのものです。本当に0.5づつか検定しましょう…ありゃ、5回続けて表が出ちゃった。0.5づつとすると、5回続けて表が出る確率は1/32<0.05。0.5づつという帰無仮説は有意水準5%で棄却されました!つまりこのコインは表と裏が出る確率が0.5づつじゃありません!…あれ？
考えてみてください＞ABO FANさん
このコメントへの返事は(私は)不要です。考えてさえいただければ。

# なんかこう断言されると、自分に対してものすごく不安になってしまうんですが。(^^;;

これに対し、TAKESANさんから以下のような返信(実に適切な!)をいただいた。太字強調は引用者。

369.TAKESAN 2008/12/27 01:25

>>368

▼▼▼引用▼▼▼
え？えええ？？？ええとどうしたらいいのでしょう＞みなさん
▲▲引用終了▲▲
た、多分、どうしようも無いかと…。

(略)

どうしようもないのか。私はどうしたらいいんでしょう。(^^;;;;

なにか、色々なものが、音をたてて崩れていくような。(^^;;
きっぱりと断言されちゃっているので、自分がいままで使ってきた統計についての概念までもがうっかり崩れそうなんですが。(^^;;;;

まあここは ABO FANさんのロジックのポイントというわけではないので、これを抜きにしても議論は進められると思いますが。しかし今までの議論の蓄積の多くが再検討を迫られるなあ…。