ニューヨーク州の学力テストにまつわるお話の４回目。
http://www.nytimes.com/2010/10/11/education/11scores.html?pagewanted=5&_r=1&ref=education
＜A Proposal For A Fix（テスト修正の提案）>
州政府の学力テストアドバイザーグループから、以下のような提案が２００８年に伝えられました。
Research has shown that when educators are pressured to raise scores on conventional achievement tests, some improve instruction, while others turn to inappropriate methods of test preparation that inflate scores
（リサーチによって明らかになったこととして、教育者は従来の学力テストの点数を上げないといけないというプレッシャーがかかると、指導方法を向上させようと努める人がいる一方、テストスコアーを過度に上げようと、不適切な方法を使おうとする人がいる）
実際、この指摘を裏付けるテスト結果が出てしまいました。
＜疑わしいテスト結果＞
２００８年のテスト結果、それは、
Eighth graders who scored at least a 3 on the state math exam had only a 50 percent chance of graduating
from high school four years later with a Regents diploma
（数学のテストで少なくとも3Aを所得した８年生ですら、高校四年で卒業する可能性がたった５０％しかなかった）
＊＊アメリカは高校が４年間で、８年生とは丁度高校に入る前学年になります＊＊
ここで初めて、州政府の行っているテスト結果の向上と卒業率がマッチしてない、おかしいことが判明しました。
The city realized that the test results were not as reliable as the state was leading people to believe
（ニューヨーク市は州政府が推し進めるほどテスト結果が信頼たるものでないと認識した）
そう、市政府は「テスト結果がおかしいぞ！！」と気がついたわけです。
実際、２００８年の結果は大変興味深い結果で、
74 percent of city students were deemed proficient in math, an increase of nine points in one year
（ニューヨーク市内の生徒の７４％が、数学能力が高いと判断され、前年度比９ポイントの上昇だった）
the city’s passing rate in reading was now 58 percent, up from 51 percent two years earlier.
（読解テストにおける、市内の合格率が５８％となり、二年前の５１％よりも上昇した）
Statewide, the passing rates jumped to 81 percent in math and 69 percent in reading
（州レベルでは、合格率が数学８１％、読解６９％に急上昇した）
Because of the widespread improvement in the scores, 84 percent of all public schools received an A in the city’s grading system
（このように広範囲にテストスコアーが上昇したため、公立学校の８４％が市のGrading System(採点方式）でAの成績をとることになった）
＊＊今年（２０１０年度）からAの成績は２５％の制限を設けることになりました＊＊
＜急上昇したテストスコアーの今後の行方＞
急上昇したテストスコアーの原因は、
The tests had become too easy（テストが簡単過ぎた）
というなんとも単純な結論。
で、この結果を踏まえ、記事は最後にこう締めくくっています。
The state intends to rewrite future tests to encompass a broader range of material, and will stop publicly releasing them
（州政府は教材をより広範囲に網羅したテストに書き換える予定である）
というところまでがこの記事内容です。
で！！、です。ここからが専門家の話ですが、まずこの記事（合計６ページにもなる、ネットの記事では長い）、長い割には欠落している点がいくつもあります。
１．データ分析の視点が欠落
学力テストデータ分析・Psychometricsや統計学など、数値分析をしてテスト結果を分析する視点が欠落してます。
今回の記事、何人かの有名大学教授らの（テストスコアーに対する否定的な）発言を掲載してますが、これら皆、
学力テストがどう教育制度＆政策に影響を与えるか？ということには詳しい専門家だが、テスト結果をデータ分析する専門分野、Psychometricsの専門家ではない
彼らがテスト分析方法を全く知らないかどうかは分かりませんが、Psychometricsの視点がない人であることは明らかです。
＊＊一応念のため、記事で挙げられていた教授ぞれぞれのホームページを見ましたが、全員データ分析のバックグラウンドがメインの人では（案の定）ありませんでした＊＊
２．簡単なテストがなぜできたのか？
という理由が分かりません。そもそも、このブログでお伝えしている通り、テストを作る際、ランダムに選んだ生徒にいくつかの何度のテストを受けさせ、そこからテストの難易度、テスト内容を決める、
Standard Setting
が多かれ少なかれ必ず行われます。
ここでテストの難易度が決定されます。つまり、テストの難易度を決定したのは、州政府とテスト会社です。
彼らが問題を作り、難易度も設定しているため、それが数年のテスト実施を経て、なぜこんなに簡単になってしまったのか？正直、テスト結果のデータ分析・Psychometricの視点から考えると、かなり不可思議なことが起こっています。
ちなみに、通常Standard Settingすると、その後数年は難易度を変更したり設定し直すことはありません。なぜなら、設定し直したら、生徒が各年度の生徒の学力の年度比較ができないからです。
これ、どういうことかというと、例えば、
２００８年度の小学５年生と、２００９年度の小学５年生、２０１０年度の小学５年生・・・ということに、過去３年間の小学５年生の学力を比較したい時、テストの難易度が同じでないと単純比較できないから！！です。
難易度を設定しなおすことは州政府にもテスト会社にも非常に（時間的＆労力的に）面倒な作業です。さらに、州政府は生徒の
Academic Progress（学力の向上）
を最重要事項として関心があり、テストを実施する意義がまさにこれです。それ故、記事にもある、州政府は、テストが簡単すぎた！！と批判されながらも、テスト結果から、ニューヨーク州の生徒の学力が向上した、と信じるのはこのためだと思います。
＊＊＊＊＊＊＊＊＊＊＊＊＊
ちなみに、テストの各設問の難易度の判定の仕方は（統計学の数式とは大違いの）
設問の正解者の数÷テストを受けた全生徒数
という超単純な式で割り出してます。
＊＊＊＊＊＊＊＊＊＊＊＊＊
３．テストスコアー上昇の背後にあるもの
実は、この記事では全くふれられていませんが、ニューヨーク州のテストスコアーで（専門家の間ではよく）言われていることが、
カンニングの疑い
カンニング・・・といっても、カンニングをしたのは、生徒（もいるかもしれませんが）ではなく、
先生や学校関係者
このブログ大好きなカンニング行為をデータ分析で発見する、Erasure Analysis・・・なることのターゲットに上がった州テストの一つは、このニューヨーク州。
Cheating、Erasure Analysis・・・とGoogleで検索して、以前よーくヒットしてたのは、このニューヨーク州でのカンニング行為。その後、ジョージア州でこのカンニング行為の疑いで発覚し、話題はジョージア州へ移りましたが、元々はニューヨーク州で言われていたので、実際テストスコアーがどこまで信頼できるか？となると、
全くの不明
こう言わざるを得ません。つまり、ニューヨーク州は学力テスト内容を詳しく吟味する一方、テスト実施における、公平性、安全性などを徹底させる必要があります。
４．その他思ったこと
この記事読んでて、ずーと思い巡ったのが、
ニューヨーク州での州規模学力テストに現場が不慣れでは！？
ということ。実は、アメリカも州規模のテストをずーと前から行っている州と、ここ最近に始めたばかりでバタバタ状態と州によってマチマチ。
（実際に詳しく調べたことがないので、なんともいえませんが）なーんか、ニューヨーク州、まだまだ州規模学力テストに不慣れな気がしないでもありません。
とはいえ、カンニング行為やらがあるなら、
ペーパーで行うテストからコンピューター式のテストに切り替える
なる対策もあります・・・・・・・が、多額のお金がかかるので、すぐには実施できなさそうですが・・・。
＊＊州規模の学力テストを完全コンピューター式にしているのは全米で約２０州くらいあります＊＊＊
ちなみに、「なんで学力テスト実施に不慣れ？と疑問が浮かぶのか？」と言えば、これ各州政府のホームページ、さらに各学区にテスト結果データを分析する専門家がどれだけいるのか？といった観点からババーと調べると、不慣れな州政府、学区ほどデータ分析の専門家が不在であることが多々あります。
というわけで、いずれにせよ、学力状況を詳細に把握しておきたい州政府、学力テストを実施し、その結果が自分たちに悪影響を及ぼすのでは？とプレッシャーがかかっている教育現場・・・という、ある意味この両者の大きな溝、又はギャップが垣間見られる記事だと思います。