昨日に引き続き、今日はTest Accommodationのリサーチの分析結果について。

州規模の数学のテストを使った、このTest Accommodationのリサーチ。昨日は、簡単に述べただけなので、もう少し整理すると、

リサーチサンプル:とある州の生徒全員(一学年約一万人くらい)で、それを「英語を母国語とする(白人を筆頭とした)アメリカ人」と「スペイン語を第一言語するヒスパニック系アメリカ人」の二つのグループに分ける。

リサーチで使用したデータ:二回行った数学のテスト。それぞれ問題は違うが、テストした内容(つまりテスト範囲)は同じ。全ての設問の難易度(=Difficulty)はもちろん同じ。分析は学年別に行われた。

一回目の数学のテストは普通のテストで、二つのグループ供に、同じ制限時間で実施。

二回目は、テストの制限時間を延長して実施。

リサーチ結果:

<英語を母国語としたグループ>
どちらのテストも、結果は(統計学上の分析において)変わらず。つまり、(専門的に言うと)エラーは発見されず。

→これ、どういう意味かって言うと、要するに「英語を母国語とする生徒に制限時間を延ばしても、テスト結果は変わらないので、制限時間を変えても得られるテスト結果は同じ(=制限時間を延ばす必要なし)」ってことです。

<スペイン語を母校語とするグループ>
一回目より二回目のテストの方が、結果が(統計学上)良かった。つまり、(統計学上)エラーが発見される。

→これは、逆に「英語を母国語としない生徒には、制限時間を延ばすことで、数学力をより正確に測定することができた」ってことです。

このリサーチ結果、その興味深い結果に、ピーンとこないかもしれないので、別の言い方をすると、ポイントは、

英語を母国語とする生徒には、制限時間を延ばしても点数は変わらないのに、英語を母国語としない生徒の点数は良くなった」、この結果です。

通常、我々は、テストの時間が長くなったなら、点数も上がるだろう・・・と考えがちですが、時間が変わっても点数が変わらない・・・となると、それは明らかに、「数学力が時間に左右されず適切に測定された」ということになります(つまり、英語を母国語とするグループの話)。

しかし、英語を母国語としないグループのみが、制限時間を延ばしたことで、点数が明らかに上がった・・・ということは、制限時間に関係ない、他の要素がこの点数の違いに影響を及ぼした・・・ということが、この研究から分かるのです。

つまり、この点数の違い(すなわちエラー)に影響を及ぼしたのが、Language Barrier、つまり言語の影響であり、これは数学力には関係ない要素なので、これは、

数学力のみを測る数学のテストで、言語力が影響を及ぼした(=統計学上のエラーを発生させた)」

というリサーチ結果になりました。

*ちなみに、このリサーチを行った、この州の全ての学年で同じ結果が見られました。

ということで、この結果から、おそらく州政府は、本格的に数学のテストでの制限時間を変更する取り決めをする可能性が出てきます・・・・という、学校の教育カリキュラムに影響を及ぼす結果になりました。

というわけで、こんなことも、Psychometrics、Educational Measurementで扱われる、今日はそんな話しでした。