ニューヨーク市で過去に起こった学力テストのカンニング問題（テストの採点を行った教員がテスト結果の改ざんを行った不正問題）に関する研究論文について。
Studies: When Educators Cheat, Students Suffer
前回に引き続き、ニューヨークの教員による生徒のテスト採点改ざん（カンニング）問題について。
前回はカンニング行為が行われたニューヨーク学力テストについてお伝えしました（背景知識として）。今回は、それを踏まえた上で、カンニング行為の背景知識、そしてその行為の影響をリサーチした研究内容等について書きたいと思います。
＜ニューヨークのカンニング問題＞
２００４年から２０１０年にかけて、約６％のテスト結果において、不自然な、教員による改ざん（テストスコアーが変に上昇し、Proficiencyレベルと呼ばれる学力基準値に達する割合が変に高い）と思われる不正が発見されていました。
さらに、最も低いレベルを下回るはずのテストスコアーの４０％以上が教員によってスコアー改ざん（一番低いレベルを下回らず、そのレベルに達していた結果）が行われた、ということも判明する。
２０１１年、そういったテストスコアー改ざんが約８０％減少します。理由は、
これまで認められていたProficiencyレベルの基準点辺りの点数の答案を生徒の通う先生によるRescore（再チェックして点数を付け直すこと）が禁止（変更）される方針に変更された
から。翌年の２０１２年、テストスコアー改ざん行為はなくなりました。結果として、各学校の教員によって行われていたRescoring（＝テストの点数をつける）という政策がカンニング行為の原因であるということがはっきりいます。
＜カンニング行為の分析結果＞
今回紹介する研究では、２００３−０４年度から２０１２−１３年度までの高校生のテストスコアーを分析しているのですが、ポイントは
学力テストにおけるProficiencyレベルに達しているかどうかと判断される点数範囲のテスト結果
これです。２００３−０４年度から２００９−１０年度までの高校生のテスト結果で上記の点数範囲内のデータを分析しています（＊２０１０−１１年度から２０１２−１３年度のテスト結果は、採点方法のルールが改正されたので、データそれ自体はありますが、分析には含まれていません）。
このProficiencyレベルかどうかと判断される点数（５５−６５点）において、２００３−２０１０年度の間行われていたRescoring（採点し直すこと）によって、不正に点数が上がっていないか？ということです。紹介している論文には分析したプロセスが詳細に説明されていますが、ブログなんでズバリ結果を見ると、
結構見てはっきり分かるこの結果。５５点、６５点だけ以上に上昇していますが、これが英語でManipulation、つまり不正に点数が操作されている割合が突出して高い点数です。
上のグラフ、２００３−０４年度から２００９−１０年度の全てのテスト（前回のブログでお伝えした、卒業に必要な主要科目で英語、数学、世界史、アメリカ史、理科など）のデータで、X軸がテストの点数（ニューヨークのテストは全て０−１００点満点のテスト）で、Y軸がFractionと書かれていますが、要は不正に点数が操作された割合です。
急激に上がっている５５点（約２．５％）、６５点（４％）で、本来は６５点辺りを頂点にする山のような分布であるはずなんですが、なっていないのは採点の不正操作があったわけで、グラフのピンク色になっているのが、不正操作があったことを示すものです。
割合にするとわずかですが、確かに点数採点の不正操作があったことは裏付ける分析結果です。
＜不正操作が起こりやすいグループ＞
次に、この採点の不正操作がが各カテゴリー別でどう違うか？ということも分析されていて、主なものに
１）生徒の特徴別
（a）生徒の性別・男女別比較
（b）白人＆アジア系と黒人・ヒスパニック系の人種別比較
（c）貧困レベル別：Free-lunch（昼食無料、つまり貧困レベルが最も高い生徒）とFull Lunch（昼食
（d）８年生（中学２年）時のテストスコアーの高い生徒と低い生徒（分析されたデータは高校生（９年生から１２年生（アメリカは日本と違い高校は基本９−１２年生の４年間）なので、一学年前である８年生のデータを使用）
これらそれぞれ２つのグループに分けて、さっきのグラフのような５５点、６５点において採点上の改ざんが起こっているか？（言い換えると、もしグループ別でスコアー改ざんに違いがあれば、スコアー改ざんにそれぞれのカテゴリー（例：貧困レベル、人種）が影響を及ぼしている、と言えるわけです）分析し、結果が以下のグラフです。
最初の（a）性別が一番両グループ（男性が赤線、女性グループが青線）同じで、次に同じような分布なのが、（c）貧困レベルの結果。この２つグラフでも分かるように、両者の違いはなく、この分析結果から、
生徒のスコアー改ざんに性別・貧困レベルは関係していない
ということが分かりました。他方、（b）人種別（白人＆アジア人とヒスパニック＆黒人の比較）（d）８年生時のテストスコアー、この２つは比較された２つのグループに統計学上違いがある（グラフで２つが異なる分布になっている）ということが発見され、要は
人種別では、ヒスパニック＆黒人グループ（グラフの赤線）のほうがアジア人＆白人グループよりテストスコアーの改ざんが見られる
８年生時のテストスコアーが低い生徒の答案のほうがスコアー改ざんが起こった
ということが、（統計学上の分析結果から）分かりました。
２）学校の特徴別
学校単位でも２つのグループに分けて分析されていて、主に
（a）黒人・ヒスパニック系学生が多い学校と少ない学校の比較
（b）貧困レベルの高い生徒が多い学校と少ない学校の比較
（c）８年生時のテストスコアーが高い生徒が多い学校と低い生徒が多い学校の比較
上記がその分析結果です。３つとも比較した結果、統計学上違いが見られ、
（a）黒人・ヒスパニック系学生が多い学校の方がテストスコアー改ざんが多く見られる
（b）貧困レベルが高い学生が多い学校の方がテストスコアー改ざんが多く見られる
（c）８年生のテストスコアーが低い生徒が多い学校の方がテストスコアーに改ざんが多く見られる
ということで、まー予想通りの結果でした。
＜Rescoring廃止後の動き＞
グラフで示した、かなりおかしいテストスコアー結果。２０１１年にマスメディア（Wall Street Journalやニューヨークタイムス）がテストスコアー改ざん疑惑のニュースを報道し、２０１１年度、ニューヨーク州政府がさすがに動きました。ズバリ、
２０１１年５月、ニューヨーク州政府から、Rescoring（生徒のテスト回答の再採点）の廃止
です。具体的には、Core subjectsと呼ばれる主要全科目のテストスコアー、Proficiencyレベルの基準値周辺の再採点の中止です。
schools are no longer permitted to rescore any of the open-ended questions on this exam after each question has been rated once, regardless of the final exam score
（ニューヨークの学校は最終得点がどうであれ、一度採点された後、記述式問題の再採点を行うことを禁ずる）
と完全に廃止し、２０１１年１０月、ニューヨーク教育委員会から２０１２−１３年度からニューヨークの教員が生徒のテスト採点を行うことを禁ずる、と正式に法制化されました。
＜総論＞
こうして、２０１１年度のニューヨーク州政府の再採点の禁止、という取り決めから学校現場のカンニング問題（正確にはテストスコアー改ざん）が収まった、という成り行き。
データ結果のグラフを見て分かるような明らかなもので、ようこんなことやってたな・・と思いますが、紹介した論文、これで終わりではありません。
この改ざんによって、他の教育政策にどのような影響を及ぼしたか？についても分析しているので、次回はそれをお伝えしてこのネタを終わりたいと思います。もう一回このネタでお付き合い下さい。