６月、７月の二ヶ月間は、私が所属するＰｓｙｃｈｏｍｅｔｉｒｉｃ Ｄｅｖｉｓｉｏｎは比較的暇な時期に相当し、その際に、Ｓｕｍｍｅｒ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｓｅｒｉｅｓと題して、リサーチャーがそれぞれプレゼンがなされたのですが、うちのサブボスが行った大変興味深いトピックのプ レゼンを行いました。
プレゼンのトピックは
「ライティングテストの点数が、点数を付ける人によって変わる、又はエラーが発生するかどうか？」
です。
これだけ読んでもいまいちピーンとこないかもしれませんが、要はライティングテストのスコアーが点数を付ける人によってまちまちにならず、（誰がチェックしても）正確に同じ点数が付けられているかどうか？を調べたわけです。
以前ライティングセンターで１００人前後の人たちが、パソコンとにらめっこし生徒の書いたライティングを一つずつチェックしてスコアーを付けることは紹介しましたが、そもそも、なぜ１００人くらいの人が同じ答案をチェックするのか？というと、
多くの人にチェックしてもらうことによって、エラーをなくす、もしくは正確性を高める
という狙いがあります。
ある生徒のライティングの点数が、ある人では５点満点中4点、別の人は3点、また他の人は2点と・・・・となると、一体実際の点数は何点なのか？？？ということになります（つまり人によってまちまち）。
そのため、点数のズレを極力なくすため、以下の２つの対策がとられています。
１．多くの人にチェックしてもらうことで、点数のズレを減らす
→二人の人が、それぞれ５点、４点を点数をつけると、その平均の４．５点がその答案の点数になりますが、点数を付ける人が１００人になると、４点、５点、 4点・・・・・・・と加算され、それを１００で割った平均がその答案の点数となり、点数を付けた人が多い分だけ、また点数の誤差も減り、正確さが増すとい うことです。
２．点数の誤差がないよう、客観的、かつ正確に点数が付けられる、（点数を付ける人たちのための）きっちりとしてマニュアル、又はルールの作成、さらに点数を正確につけられるよう、スコアラーへのトレーニングの充実
→以前紹介した通り、きっちりとしたマニュアルは作成され、スコアラーには最初に雇われた際、トレーニングを受けることが義務づけられています。
ということなのですが、本題のサブボスによるプレゼンで紹介されたのは、なんと（上記のような対策がなされていたにもかかわらず）
スコアーの誤差が確認された！！
というもの。
実験的に、約１００人くらいからなるスコアラーのグループ二組（これらのグループにいる人たちは皆違う人）を使って、同じ答案用紙（何千万人分）のスコアー（ちなみに答案は小学４年生、６年生、そして中学二年生の三学年）を付けてもらった所
小学四年生の答案の点数に誤差が確認された！！
（つまり、二グループの付けた答案の点数が明らかに異なる結果が出た）
のです。
＊参考程度ですが、スコアーの誤差は統計学的に分析（ＡＮＯＶＡを使用）した結果です・・・・が、統計学、ＡＮＯＶＡに関する話しはまた別の機会に・・・・。
全て同じ条件（スコアーを付ける人の人数はほぼ同じ、スコアー付けるためのマニュアル、ルールは同じ、スコアーを付ける人へのトレーニングも同じ）であることを考えると、大変興味深い、でもよーーく考えると、
スコアーを付ける人によって、点数が変わってしまう！！
という、テスト会社にとっては厄介な問題が発見された
ということになります。
ＧＲＥ，ＴＯＥＦＬなどライティングの点数をつける際もこのような誤差はあり得る話しなので、スコアーを付ける人が誰でも客観的に評価され、点数の誤差の ない、正確な点数を付けるまでには、まだいろいろな専門家による対策がなされる必要があるなあ・・・とプレゼンを聞きながらしみじみ思った、先月の出来事 でした。