つい先日、私が働くテスト会社のScoring Centerを見学する機会があり、車で10分ほど離れたScoring Centerへ行って来ました。

ここは、普段私が働く本社の建物より小さく、フロアも一階だけですが、従業員は400人!!と聞いて驚きました(本社の建物は3階建て。従業員の数は正確には知らないが、駐車場の車の数から判断しても、絶対400人もいないはず)。

このScoring Centerでは、主にライティングのテストのような、(コンピューターによる自動的な作業ではなく)人が実際に読んで点数を付ける作業が必要なテストのスコアーを付ける場所で、ここでライティングなどのスコアーが付いた後、そのデータ結果が我々の元へ届き、分析&レポート作成が行われる、という手順です。

私が驚いたのは、大きな部屋にパソコンが100台くらい並んで、いろんな人が(静まりかえったような空間で)パソコンの画面とにらめっこしながら、生徒の答案を読み、点数を付けている、その雰囲気。

既に生徒の答案はスキャンされてあり、もし字が読みづらい時などは、(そこはパソコンの利点だけあり)拡大などしてじーと見て、なんて書いてあるのか見ている人もいました。もし答案の付け方など分からない時は、Scoring Leaderの人が見て回っているため、そういった人たちがヘルプなどするとのこと。

普段私が働く和気藹々とした職場とは違い、大教室みたいなところで、大人が100人近く、答案に点数(1点、2点などクリックする)をつけては、次の答案をチェックする、ただそれだけの作業なので、私個人としては「テストスコアーの仕事はできないな・・・」と実感。

ちなみに、従業員の約6割は、既に定年退職した人であり、その理由は、このスコアーをつける仕事は年間の中で毎月コンスタントにあるわけではないこと。

既にこのブログでもふれたかもしれませんが、アメリカは学校が9月始まりで、6月初旬終わりが一般的です。そのため、各州とも大体4月、5月に大掛かりなテストを実施し、Scoring Centerが最も忙しいのは春時期だけ。そのため、春時期はフルタイムの社員、つまり週40時間が義務づけられた仕事がありますが、それ以外の時期は仕事が(全くではないですが)特にありません。

見学の最中に聞いた所では、大抵の場合、スコアーをつける人を雇う場合、最初にライティングテストやその他基本的な学力テストを行い、そして雇うがどうか判断するとのこと。その後、Scoring Leaderと言われる人たちから、スコアーを付けるトレーニングを受け、その後、晴れて大教室で、生徒との答案にらめっこの仕事が始まるとのことでした。

幸い、大部分の人は、(既に定年退職して特にやることがないためかは分かりませんが)毎年この仕事に戻ってくるらしく、トレーニングが毎年多数必要なわけではないそうです。

とはいえ・・・・・、私のような日本から来た教育関係者が見ると、

スコアーを付ける人が、いくらトレーニングを受けたといっても、所詮教育、つまりライティングなどの点数をつける、または答案をチェックをする教育のプロではないため、彼らがどこまでチェックできているか極めて不明

という疑問が残りました。

アメリカへ行く時に受けたTOEFLやGREのライティングもこのような形で採点されてたんだ・・・と考えると、このような採点方法が良いのかどうか・・・と疑問が残った、Scoring Center見学でした。

*ちなみに、各答案は、別に一人だけが点数を付けるのではなく、その大教室にいる全ての人がチェックします。そして、その100人くらいが付けた点数を平均下したりなどして、数値として上がってきたものをさらに、手をかけて誤差やアンフェアなスコアーにならないような、統計学、またはMeasurementの専門的作業を行うのが、我々、Psychometiricianです。その方法、専門的な話しはまた後ほど・・・。