ニューヨークの学力テストの基準が低すぎる・・・という批判から、その基準を高くした結果、スコアーが大きく変動し、合格者率が大きく変化した・・・というお話し。
Ｗｈｅｎ ８１％ Ｐａｓｓｉｎｇ Ｓｕｄｄｅｎｔｌｙ Ｂｅｃｏｍｅｓ １８％
http://www.nytimes.com/2010/08/01/education/01schools.html?_r=1&ref=education
実はここ最近ずーとこの種の記事が話題になってて、いつかブログで紹介しようって思い、遂にその時に至った、そんな記事（慌てて紹介する程の内容でもないけれど、まあ一度くらいは・・・という感じです）。
元々、ニューヨーク州の学力テストは、その基準が低すぎて、一定の合格点に達する生徒が多すぎるのでは？という懸念を州政府の教育省関係者が持っていたのですが、それでこの基準を変更したら、これまでとは大違いの学力テスト結果が発表され、（いつもながら）学校関係者は大変です。
で、その分析した学力テスト結果をグラフにしたのが、下のサイト（テスト会社のリサーチャーは、サイトにあるようなグラフを作成するのが仕事の一つで、私もサイトにあるようなグラフ作成はよくしました）。
Ｔｈｅ Ａｃｈｉｅｖｅｍｅｎｔ Ｇａｐ Ｇｅｔｓ Ｗｉｄｅｒ
http://www.nytimes.com/imagepages/2010/08/01/education/01schoools-graphic2.html?ref=education
リンク先のサイトの下側、Ｐｅｒｃｅｎｔａｇｅ ｏｆ ｓｔｕｄｅｎｔｓ ｐａｓｓｉｎｇ．．．のグラフでは、３年生から８年生（中学２年）まで、英語、数学ともに一定の基準をパスした割合、全部下がってます。
グラフにあるように、元々英語のテストなんて、合格者が８０％を越えてましたから、データ分析の専門家の視点から言うと、あまりにも簡単なテスト、又は基準が低いテストって思ってしまいます。
サイト上側には、８年生と３年生の英語、数学の過去のＰａｓｓｉｎｇ Ｓｃｏｒｅ（基準を満たす、合格点）の２００９年と２０１０年が掲載されています。
グラフを注意深く見ると、基準点を少し上げただけの感じがします・・・・・・・・・が、これ学校によっては、えらい影響が及んだみたいです。
実際、一番極端なケースでは、
At Public School 85 in the Bronx, known as the Great Expectations School, there was a literal reversal in fortune, with proficiency on the third-grade math test flipping from 81 percent to 18 percent.
上にある紹介された学校、合格点を満たした生徒・８１％あったのが、１８％まで落ち込んでしまいました。
他にも記事では、下がりまくった例を数多く紹介していますが、ではなぜ上のように多く下がったのか？
記事には説明されていませんが、答えは簡単。合格点すれすれの点数であった生徒が沢山いた学校は、基準が少し変わっただけで、合格者率が下がるのは当然です。
この記事では、基準を変えて下回った合格者率の話しだけに終止して、その背景を全く説明されていませんが、少し専門的に言うと、
基準を少し上げた・・・といっても、それは単に総合得点を５点や１０点、単純に引き上げた・・・というわけではない
ということ。ここが、データ分析に携わる人と、それ以外の人の発想、又はデータの見方の違いです。
記事にもあるように、学校関係者の中には、「基準が少し上がっただけで、なぜこんなにも合格者率が下がるんだ？」とクレームのような意見がありますが、その訳は総合得点を単に上げた、と勘違いしているからです。
何度かこのブログでお伝えしているように、学力テストのデータ分析に携わるＰｓｙｃｈｏｍｅｔｒｉｃｉａｎなる専門家は、データを細かく分析し、極力不公平のないように、データをいじって公表します。
言い換えれば、基準点を上乗せするのであれば、その上乗せした結果も、全ての生徒にとって公平な上乗せでなくてはなりません。
実際、リンク先に掲載されている４年生＆８年生も、
英語のテスト
４年生・・・６５０→６６８点（１８点アップ）、８年生・・・６５０→６５８点（８点アップ）
数学のテスト
４年生・・・６５０→６７６点（２６点アップ）、８年生・・・６５０→６７３点（２３点アップ）
つまり、上乗せ点もバラバラ。公表された結果を見ると、２００９年は全て６５０点で、ニューヨーク州は、合格基準を６５０点に共通して設定していた事が分かります。
しかし、それをいじって合格点が異なってしまったのは、その不公平をなくす、専門家による数値の"いじくり”があったため。
６５０点のような基準となる点数をＣｕｔｔｉｎｇ Ｓｃｏｒｅと以前お伝えしましたが、このＣｕｔｔｉｎｇ Ｓｃｏｒｅを分析して、不公平のないようにはじき出すのって結構手間暇かかります（＊＊テスト会社で働き始めた一年目、私は携わって頭ひねりつぶしました・・・）。
というわけで、合格点をいじったため、ニューヨーク州内の学校は、上級クラスにいけるはずたった生徒がいけなくなって、保護者から問い合わせが殺到しているやら、トップランクだったチャータースクールの合格率１００％が５６％に急落し、学校の評価に影響が・・・やら、学校関係者は、新年度が始まる９月までに大仕事が舞い込んだ感じだと思います。
いずれにせよ、こういったテストスコアーのデータ分析作業、又は数値変更作業は今後まだまだ出てくるだろう・・・、それが専門家である私の予想ですが、まあ専門家には興味深いが、それ以外にとっては厄介なお話しですね、これ・・・。