ABO FAN「理論」の問題点
いや「理論」というほどたいしたもんではないわけだが。
彼は言う：思い込みがあれば母集団に差が出ることは明らかだ、と。
この「理論」は穴だらけなので、検証可能になるように補完しよう。
1. 思い込み(自分は○型なので自分は～な性格)が性格の自己報告に影響を与える。
2. 標本において、血液型と性格の自己報告に相関が生じる。
3. その相関は母集団における差を意味する。
もちろんそんな単純にはいかない。理論的に考えてみよう。
1. 思い込みがある。
1a. 思い込みにより性格が変化し(自己成就現象)、性格の自己報告が影響を受ける。
1b. 思い込みにより、「真の」性格は影響を受けないが、性格の自己報告が影響を受ける(認知バイアス)。
1c. 血液型ステレオタイプはあるが、自分には当てはまらないと思っており、自己報告には影響がない。
1d. 思い込みはあるが、一貫した「性格」など存在しないので、自己報告には影響がない。
2. 思い込みがない。
*心理学者には怒られそうだが、とりあえず自己報告ではなく他人が判断できるような性格を「真の性格」としておきます。
2の場合ははなから影響がないわけだ。で、ABO FAN氏は、一人でも思い込みがあれば、それは母集団の差を意味するのだと言う。
もちろんそんなことはない。
1aの場合： 母集団で差は生じるが、標本で差が検出できるかは性格が変化した人の数による。
1bの場合： 母集団で差は生じるが、標本で差が検出できるかは自己報告が影響を受けた人の数による。
1cの場合： 母集団に差は生じないし、標本でも差が出ない。
1dの場合： 母集団に差は生じないし、標本でも差が出ない。そもそも「血液型と性格」の相関を考えることが無意味。
従って、母集団における差、という観点からは、「実際に／自己報告で性格が変化した人がいれば、差が変化した人がいる」というトートロジーを語っているに過ぎず、標本における差、という観点からは、母集団における差の大小により、サンプルサイズが小さければ差が検出できない可能性は十分にある。
ところが、ABO FAN氏は、適切にデザインされた調査なら必ず検出できるという。その際、どれだけの人が性格／自己報告の性格が変化したかは問わないのである。つまり、一人でも変化していれば、母集団に差があり、それを検出できるような調査をやれば検出できるはず、とこれまたトートロジーの世界に入っているのである。だったら、もし一人だったら全数調査やらなきゃ無理じゃん。
というわけで、理論的にABO FAN氏の「理論」は無意味であることがわかった。
次に、実際の調査の手順から考えてみよう。
実際は全数調査などできないので、標本抽出をする。第一歩は、標本において差が有意に検出されるかどうかである。
1. 差が有意であった。
2. 差が有意でなかった。
2の場合は、そこで終わり。こだわるならば、より大きいサンプルサイズで調査するか、サンプリングに問題がないか調べることになる。1だったら、最初のハードルはクリア。次に、その有意の意味を問うことになる。タイプIエラーということはないのか、疑似相関ではないのか、等々。様々なテストを繰り返し、ようやく母集団における差であろうと推測できるようになるわけである。
無論、「有意」ってのが5%とかそんなんじゃなくて、もっと激しく強いものであれば、一発の調査で色々なことを言っても構わないわけだが、血液型と性格の相関はそうではない。有意だったり有意じゃなかったりする。もし有意なのがタイプIエラーなら、調査の回数を増やせば増やすほど、一定の割合で有意である調査も増えていくことになる。だから、「有意」ということの意味をきちんとおさえないと、結果の解釈がトンチンカンなものになる。単なる「お約束」で「有意」だから母集団に差がある、なんてのはダメなんですよ!
で、その有意がリアルだということになって、漸く、その有意の中身が吟味されていくことになる。つまり、intrinsic な差なのか、思い込みなのか、等々(いやもちろん実際の研究ではそこまで想定してデザインを考えるわけだけれども)。
というわけで、検出された「差」が思い込みによるかどうかはこの最終段階になってはじめて議論されることなのだ。
つまり、ABO FAN「理論」は実験的にも間違っている。
ついでに言えば、
こんなこと言われたら、「お約束」の意味ちゃんと理解してる？と聞くのも当然ですよね。ね。
彼は言う：思い込みがあれば母集団に差が出ることは明らかだ、と。
この「理論」は穴だらけなので、検証可能になるように補完しよう。
1. 思い込み(自分は○型なので自分は～な性格)が性格の自己報告に影響を与える。
2. 標本において、血液型と性格の自己報告に相関が生じる。
3. その相関は母集団における差を意味する。
もちろんそんな単純にはいかない。理論的に考えてみよう。
1. 思い込みがある。
1a. 思い込みにより性格が変化し(自己成就現象)、性格の自己報告が影響を受ける。
1b. 思い込みにより、「真の」性格は影響を受けないが、性格の自己報告が影響を受ける(認知バイアス)。
1c. 血液型ステレオタイプはあるが、自分には当てはまらないと思っており、自己報告には影響がない。
1d. 思い込みはあるが、一貫した「性格」など存在しないので、自己報告には影響がない。
2. 思い込みがない。
*心理学者には怒られそうだが、とりあえず自己報告ではなく他人が判断できるような性格を「真の性格」としておきます。
2の場合ははなから影響がないわけだ。で、ABO FAN氏は、一人でも思い込みがあれば、それは母集団の差を意味するのだと言う。
もちろんそんなことはない。
1aの場合： 母集団で差は生じるが、標本で差が検出できるかは性格が変化した人の数による。
1bの場合： 母集団で差は生じるが、標本で差が検出できるかは自己報告が影響を受けた人の数による。
1cの場合： 母集団に差は生じないし、標本でも差が出ない。
1dの場合： 母集団に差は生じないし、標本でも差が出ない。そもそも「血液型と性格」の相関を考えることが無意味。
従って、母集団における差、という観点からは、「実際に／自己報告で性格が変化した人がいれば、差が変化した人がいる」というトートロジーを語っているに過ぎず、標本における差、という観点からは、母集団における差の大小により、サンプルサイズが小さければ差が検出できない可能性は十分にある。
ところが、ABO FAN氏は、適切にデザインされた調査なら必ず検出できるという。その際、どれだけの人が性格／自己報告の性格が変化したかは問わないのである。つまり、一人でも変化していれば、母集団に差があり、それを検出できるような調査をやれば検出できるはず、とこれまたトートロジーの世界に入っているのである。だったら、もし一人だったら全数調査やらなきゃ無理じゃん。
というわけで、理論的にABO FAN氏の「理論」は無意味であることがわかった。
次に、実際の調査の手順から考えてみよう。
実際は全数調査などできないので、標本抽出をする。第一歩は、標本において差が有意に検出されるかどうかである。
1. 差が有意であった。
2. 差が有意でなかった。
2の場合は、そこで終わり。こだわるならば、より大きいサンプルサイズで調査するか、サンプリングに問題がないか調べることになる。1だったら、最初のハードルはクリア。次に、その有意の意味を問うことになる。タイプIエラーということはないのか、疑似相関ではないのか、等々。様々なテストを繰り返し、ようやく母集団における差であろうと推測できるようになるわけである。
無論、「有意」ってのが5%とかそんなんじゃなくて、もっと激しく強いものであれば、一発の調査で色々なことを言っても構わないわけだが、血液型と性格の相関はそうではない。有意だったり有意じゃなかったりする。もし有意なのがタイプIエラーなら、調査の回数を増やせば増やすほど、一定の割合で有意である調査も増えていくことになる。だから、「有意」ということの意味をきちんとおさえないと、結果の解釈がトンチンカンなものになる。単なる「お約束」で「有意」だから母集団に差がある、なんてのはダメなんですよ!
で、その有意がリアルだということになって、漸く、その有意の中身が吟味されていくことになる。つまり、intrinsic な差なのか、思い込みなのか、等々(いやもちろん実際の研究ではそこまで想定してデザインを考えるわけだけれども)。
というわけで、検出された「差」が思い込みによるかどうかはこの最終段階になってはじめて議論されることなのだ。
つまり、ABO FAN「理論」は実験的にも間違っている。
ついでに言えば、
> 抽出された標本をいくら分析しても、母集団に差があるかどうかはわからない、と言っているんですよね？そうとしか読めませんが。だそうなので(こちら のコメント#32)、ABO FAN氏曰く、統計で得られた結果から母集団を推測してはならない、ただし、なんか知らないけど「お約束」に従って5%なら母集団について推測してもいいよ、とのことである。
ご承知のように、統計だけなら「母集団に差があるかどうかはわからない」とういうのはそのとおりです。
ただ、“誤差”が５％なら認めよう、というのが共通の「お約束」です。
だから、統計的検定だけではなく、できれば別の手法も使うべきだと繰り返し言っています。
こんなこと言われたら、「お約束」の意味ちゃんと理解してる？と聞くのも当然ですよね。ね。