ニューヨーク市で過去に起こった学力テストのカンニング問題（テストの採点を行った教員がテスト結果の改ざんを行った不正問題）に関する研究論文についての三回目。
Studies: When Educators Cheat, Students Suffer
今日はこのテーマの最後の回で、過去二回に分けて、ニューヨーク州内の学校の先生が、生徒の答案の採点におけるテストスコアー改ざん（再採点する際に点数を水増しし、実際より良い点数になっていた）を行っていた、という所までレポートしました。
今日はこの点数改ざんによってどのような影響が出ていたのか？について分析された結果をレポートしたいと思います。
＜点数改ざんの影響（その１）＞
今回紹介するデータ分析結果。ズバリ、
先生による生徒のスコアー改ざんが行われていた２０１０年までと、それがなくなったであろう２０１１年でどのような変化が見られるか？
です。ニューヨーク州政府のRating policy（学力テスト採点方法のルール）の変更、つまりニューヨーク州内の各学校の先生にテストの答案採点、そしてProficiencyレベルの基準値周辺のスコアーだった答案の再採点を行わせていた２０１０年度までのデータはもちろん、ルール変更によって、テスト会社のみの採点になった２０１１年から２０１４年までのデータを使ったデータ分析です。
早速、分析結果であるグラフが下記です。データ分析は、Rescoringの対象となった、６０−６９点をとった生徒のみを分析したものです。
４つグラフがあるので一つずつ説明すると、
左上（a）Score 65+ on First Administration
First Administration（＝再採点を行う前の１回目の採点結果）で、Proficiencyレベルの基準値とされる６５点以上をとった生徒の割合を統計学的に分析した結果です。
見ての通り、Rescoring（再採点を行う）を中止した２０１１年度にいっきにその割合が減少し、再採点の際にカンニング（＝教員による生徒のスコアー改ざん）が行われたことを裏付ける結果になっています。
右上（ｂ）Retake Exam in First Calendar Year
次のグラフはRetake exam（再テスト）を行った生徒の割合を統計学上分析したもの。結果は、Rescoringを中止した２０１１年に再テスト受験者の生徒数が１５−１８％上昇し、これまたスコアー改ざんを裏付ける結果に。
左下（ｃ）Retake Exam in First Calendar Year
Cは既にお伝えしている、Proficiencyレベルである６５点に達している生徒の割合を統計学的に分析した結果で、既にお伝えしている通り、２０１１年に急にガクッと落ちてます、割合が。
右下（ｄ）Graduate High School
これがある意味、Recoringを中止したことによって、最も顕著に影響を受けたところで、高校卒業率です。
さすがスコアー改ざんが行われていただけあって、２０１１年に高校卒業率が下がりました（グラフでは分かりづらいですが、３−５％です。ちなみに３−５％だけだろう、とわずかに思えるかもしれませんが、統計学上不自然に上がったり下がったりすると、統計学の分析上そんな異変も結果として表れます）。
２０１１年以降同じ割合であることを考えると、スコアー改さんがない今の状態が卒業率のリアルな割合だと考えられます。
＜点数改ざんの引き金＞
今回紹介している研究論文は、最後に、生徒のテストスコアー改ざんはは何が原因で引き起こったのか？（テストスコアー改ざんの影響・・・というよりも、引き起こった因果関係）についても研究の手を平げています。
（Test-based Accountability)
Test-based Accountabilityとは生徒のテストスコアーの結果に基いて先生、学校、学区のパフォーマンスを測る、すなわち生徒の学力向上に必要・すべきことを行っているか判断するシステムのことで、ポイントはこの
Test-based Accountabilityシステムによって、カンニング問題（学校関係者による生徒のテストスコアー改ざん）が引き起こったのか？
ということ。細かいデータはリンク先の記事にあるのですが、結論からいうと、そうは言い難い、という結果です。ニューヨーク州政府の場合、学力テスト結果等に基づいた学校評価システム（AーFの評価）があるのですが、AーBの評価を受けた学校と、DかF（Fとは最悪の評価結果）を受けた学校のスコアー改ざんの割合を測定したら、統計学上違いが見られず、Accountabilityシステムとスコアー改ざんの関連性が見られなかったから、という理由からです。
（High School Graduation)
生徒を卒業させるためにスコアー改ざんを行ったのか？についても検証されていて、分析したのは、
卒業に必要なCore subjects（主要科目）のテストスコアー改ざんの割合と、卒業に必ずしも必修ではない科目のテスト（化学、物理、上級レベルの数学など）のテストスコアー改ざんの割合の違い
もし、生徒を無理にでも卒業させようとするためにテストスコアーの改ざんが行われていたならば、主要科目のテストスコアーの方がそうでない科目よりもスコアー改ざんが多く行われているはず、という仮説です。（細かい分析結果はとばして）結論から言うと、
統計学上、主要科目とそうでない科目どちらもスコアー改ざんの割合は変わらない
という結果で、この観点から分析した限りでは、卒業させようとする目的によってスコアー改ざんが引き起こったとは言い難い、という結果になりました。
今回紹介した研究論文はそれ以上の分析を行っておらず、もしかしたら再テストを受けさせないため、Proficiencyレベルに達することによってまた別の上級レベルの授業を取る資格を得られるため・・・など考えられますが、それらを分析するとなると、また別の重要な分析すべきデータが必要となる、と研究論文では言及されています。
＜総論＞
今回のカンニング問題、（既にお伝えしましたが）Cutoff Scoreと呼ばれるProficiencyレベルに達するかどうかを判断する基準となるスコアー周辺の約４０％がスコアー改ざんとなった、という衝撃的事実から始まりました。
そして、それによって卒業率等が不自然に上昇する、という影響も発見され、再採点を通してスコアー改ざんを行った教員のProficiencyレベルに達する割合を上げようとした意図が明らかになりました。
結果的に再採点（Rescoring）を完全廃止することで、事態は事なきを得、リアルなProficiencyレベルの割合、高校卒業割合が発表されることになった、というニューヨーク州政府のお話でした。
ブログなので、専門的な分析方法は割愛しましたが、この研究論文、なかなか興味深いアプローチで分析されており、専門家の端くれとして読んでて大変勉強になりました。というわけで、次回以降またいつも通りのブログで、アメリカの教育政策（とりわけトランプ大統領の政策内容）についてお伝えしていく予定です。