修士論文で必要なデータ(Vocabularyと数学の学力、又読解力の関係性)を探して、5州分の過去のテクニカルレポートを見て思ったことを少々。

何度かふれたことですが、アメリカは各州によって法律はもちろん、教育の学習項目(日本でいう学習指導要綱)、難易度(つまりレベル)、教科書などが全てバラバラであるため、全米規模で統一されたテストを行うことは(日本のように文科省が学習要項を全て決めているケースとは違い)極めて難しい(批判も沢山できることは間違いないし・・・)。

最近、5州分の過去のテクニカルレポートを見て、それをしみじみ実感しました。基本的なデータ(つまり、各教科ごとの平均点など)は同じだが、それ以外のテストを作る際の重要事項や関連情報は全く異なり、分厚さもまた異なる。

今回は自分の論文に必要なデータとしてVocabularyの設問のスコアー、読解力の設問のスコアー、そして数学のスコアーの三つのテスト結果を探していたが、読解力(Reading Comprehension)のテストに語彙力の設問があるかといえば、各州によって、意外に異なる(というか、ある州ではVocabularyに関連して設問がなかった・・・)。

このようなテストを見る時に参考になるのが、Test Blueprint。日本語にするとどう訳されるか分からないが、要は「テストの設問を作る際の基本となる見取り図、または青写真」のようなもの。参考程度にある州の数学のTest Blueprintを下に紹介すると・・・

1.Number and Operation
2.Concepts and Principles of Measurement
3.Concepts and Language of Algebra and Function
4.Concepts and Principles of Geometry
5.Data Analysis
6.Probability and Statistics

もちろん、この6項目がさらに細分化され、選択肢を選ぶ問題があったり、途中の式も書かない長ーい問題だったりなどする。

このTest Blueprint。各州いろいろだが、ポイントは、アメリカの(同じ州の)各学年のテストでは、(基本的に)全て同じ、統一されたTest Blueprintであるということ。

このTest Blueprintが学年関係なく同じ、つまり統一されている、ということは意外にも重要なことで、理由は、

Test Blueprintが同じ、つまり統一されているため、学年別に学力を比較チェックしたり、毎年ごとに同じ生徒の学力の変化を調べることができる

ということですが、これだけではいまいちピーンとこないかもしれないので、例を挙げると、

2007年度の小学5年生が算数のテストを行い、同じ生徒が2008年に進級し、小学6年生として算数のテストを受けた時、当たり前ですが、5年生と6年生とでは新しく習う算数の学習内容が異なるため、テストもまた異なります・・・・・が、

テストの根本的な重要項目であるTest Blueprintが同じであるため、テストの内容や設問が違っていても、2007年のテスト結果と2008年のテスト結果を比較し、学力が上がったか、下がったかを比較することは可能、となります。

もちろん、Test Blueprintだけではなく、我々専門家がテストの設問の難易度を(統計学的に)調整&分析しながら設定し、学年別のテストの設問内容は違っても、難易度(Difficulty)は全てのテストで同じように調整しているため、同じ生徒が毎年違うテストを受けたとしても、同じレベル(または難易度)のテストとなり、年ごとの学力の変化を比較することは可能、となります。

再度強調しますが、

Test Blueprintはテストを作る際の根本的な見取り図的な役割であり、このTest Blueprint,そして設問の難易度を学年別に異なる設問のテストでも統一、つまり同じようにすることによって学年別はもちろん、年ごとのテスト結果を通して学力の推移を比較することが可能になる

ということになります。

最近も、ある州のテスト(年に三回行われるテスト三回分)をサンプルの人数(約20名)を使って行い、そのテストのスコアーを使って、この三回分のテストの難易度が全て同じように統一されているかどうか、を分析する仕事をしたのですが、二回目のテスト結果がサンプル約20名のうちほとんとの人のスコアーが高かったため、二回目のテストの難易度が少々低い(つまり1回目と3回目と比べて簡単なテストだった)と分かり、州政府の人、そして私の会社のTest Developmentの人がテストを修正しないといけなくなった、というようなことがありました。

ともかく、テストを作る際に考慮し、注意しなければいけないことは山ほどある・・・と過去のテクニカルレポートを見て、しみじみ実感した最近の自分です。