【英検ライティング】人間の採点者とAIによる採点で大きくスコアが変わりそう！と思った例

この記事の内容は、完全に私の「予想」の範囲内ですので、それを前提にお読みいただければと思います。




＜英検などのライティング試験について＞

人間による採点と、AI採点で、大きくスコアが変わりそう・・・！と思った事例がありますので、書いてみたいと思います。



英検２級を受検予定の中学生が、自宅で取り組んだライティング課題を提出してくれました。

簡単にそのトピックを紹介しますと、


街中の車の台数は制限されるべきか

日本は水を使いすぎていると思うか


という２題でした。




２題とも、ライティングの中で、”which”のつもりで書いた部分が、witch（魔女）になっていました。



人間による採点であれば、採点者は間違いの部分を見て、こう思うでしょう。

↓　↓

「ああ・・・この子はwhichのつもりだけど、誤ってwitchと書いてしまったんだな〜」

と。


スペルミスをしてしまっているな、という観点からのマイナス点だけで済むという話です。





ですが、これ、厄介なことに、AIによる採点となると、どうでしょうか。


↓　↓

「なんで車に関するトピックのライティングで、”witch：魔女”という単語が入るんだろう？」

「なんで水の使い過ぎに関するトピックのライティングで、”witch：魔女”という単語が入るんだろう？」

というように、結果的には、「質問されている内容に対する答えとしては、大きなズレがありますね」という評価が下されるのが予想されます。



ご存じの方も多いと思いますが、英検のライティングは、下記の４項目での採点となります。

内容　
構成
語い
文法


このうち、いちばん上に書かれてある「内容」という部分がチェック項目の第一関門だと思ってください。



英検側も、

トピックとずれた内容が書かれている！となった時点で採点終了。


という厳しいルールを以前から公表しています。（点数がつかない＝0点）


ですので、内容にズレがあったけど構成や文法はよくできていたからその部分の点数を与えます、という採点方法は一切なし！ということになります。



私も英文ライティングのAI採点に関して、かなり情報を探したり、本を買ってみたりはしていますが、やはりまだまだ詳しい情報に辿り着くのは難しく、ライティングのAI採点自体が発展途上の段階なのだなと感じます。


とはいえ、「AIによる採点」というトピックに関する情報としてほぼ共通しているのは、

質問に対する答えとしてある程度期待されている英単語が予め存在すること

そして


その英単語と、受検者の書いたライティング内容に含まれる英単語との合致度合いが、得点に大きく影響する


という2点です。



また、AIに関する書籍の中で、文章の採点についての実験結果が書かれていた項目では、

"study abroad"（留学）に関する質問に対して、わざと"apple"（りんご）という英単語を含めた英文を書き、それをAI採点にかけるとどうなったか？という事例に触れていました。


結果としては、極端に低いスコアが出たとのことです。


AIの学習データの量や度合いにもよりますので、低いスコアが出たという事象が英検の採点でも100％そうなるとは言いづらいのですが、概ね合致しているのだろうなと感じます。



・・・・・となると、人間の採点以上にAI採点は厳しい！とも言えるわけですね。



もし、play baseballと書くときに、間違ってpray（祈る）と書いてしまっていたら一体どんな点数がつくんだろう・・・？？などなど、疑問だらけです。



なんせ、英検のライティングは、自分が試験当日に書いた文章はその後返却されませんからね・・・笑


（返却してしまうと運営側にとって都合が悪いこともあるから。というのは、おそらく皆さんお気づきかと思います。）




「人間の採点と遜色ないというデータが出たのでAI採点へ移行します」という英検側の判断をもとに現在のライティングAI採点がスタートしたわけですが、色々とグレーな部分は多いかなと正直思います。


ですので、今、英検を教える側としてできるのは、AI採点を前提として生徒のライティングの添削を厳しめにすることかなと。



which を、誤ってwitchと書いてしまうと、スペルミスとしての減点以前に、「内容」の採点項目で引っかかって、点数がつかなくなる（＝０点）可能性があるから、かなり気をつけて・・・！


と、今回の課題を提出してくれた生徒には伝えました。




つづりを間違って書いてしまった結果、それがたまたま存在する別の意味の英単語だった場合に、

「おかしな単語が紛れている」

↓

「内容と大きくずれている」

↓

「ずれた答えには点数をつけられない」


という判断をAIから下されることになるかもしれない、ということです。
（予想ですよ！）



時として、人間以上に厳しいでしょうし、感情抜きにバンバン減点してくることもあろうかと思います。


英検も、GTECのように、試験時の自分のライティングを成績表に画像として入れてくれていたら、不合格だった時の振り返りにはかなり役に立つんですけどね・・・。


まあ、そこは大人の事情で、公開することは今後もないでしょう


というわけで、もうすぐ英検を受ける皆さん、引き続き、ライティングも含め、頑張りましょう

英検®︎で中学生・高校生の英語力を上げる！
武田塾＠さかい初芝校
■武田塾教材ネットショップ
■教室ホームページはこちら
■教室メルマガのご登録
■時間割・月謝
■さかい初芝校 アクセス

＜お問い合わせ＞
武田塾
〒542-0076 　
大阪市中央区難波 5-1-60
なんばスカイオ WeWork 27階
06-7639-8593
（平日8:30〜17:30）
※時間外のお問い合わせは、お名前と簡単なメッセージをお残しください。
（塾関係の営業電話と区別が必要なため）