全米共通学力テストの一つであるPARCCが今年度実施されたテスト制限時間を短縮することになり、テストデザインの変更を決定したニュースについて。
PARCC Shortens Its Common-Core Test
今日は前回のブログでお伝えした通り、全米共通学力テストの一つ、PARCC Assessment
の現在状況をお伝えし、このPARCCの現状がいかに厳しいかをレポートします。
＜長すぎたテスト時間＞
何度もお伝えしている全米共通学力テストの一つ、PARCC Assessment。私も数年前までスタッフとして仕事していたので、大半のスタッフは知り合いですが、このPARCC、２０１４－１５年度に初めて実施され、このテストで最も厳しい批判・苦情を受けたのが、
馬鹿みたいに長いTesting Time（テスト時間）・・・なんと１０－１１時間！！！！！！
通常のテストは約２時間くらいなので、１０－１１時間は長いにも程があります！！！！が、こんな決定をしたのがPARCCのスタッフ並びPARCCを採用した州政府のトップ連中。さすがに怒涛の批判を受け、来年度（２０１５－１６）は小学３年生から高校２年生までのテストを９０分は短くすることが正式決定しました。
＊＊＊＊＊
今年度は（学年によって異なりますが）６０－９０分のセッションが８から９あり、来年は７５－１１０分のセッションを６か７実施予定。
＊＊＊＊＊
さらに、Testing Window（テストを実際に行うオンライン上のページのこと）を３０日間はオープンにしておき、学校日数の４分の３にあたる日数が経過するまではテストを行わないことも決定しました。
今年度はPARCCの２つあるテストの一つのTesting Windowが（テスト時間が１０－１１時間もあったため）１２週間（１２日ではなく、１２Weeks!!)もあり、２月１６日から５月８日まで、さらにまた別のPARCC内のテストは８週間で、４月１３日から６月５日で、ともにかな長い日数でした。
＊＊＊＊＊
PARCCテストは、学校日数を半分終えた後あたりに実施されるPerformance-based Assessmentと学年度末に行われるEnd-of-year Assessmentの２つあります。
＊＊＊＊＊
テスト時間は長く、全米共通学習内容（Common Core State Standard)を全て教え終える前にテストを実施され、さらに学校によってはテストを行う時間、場所、コンピュータの数が足らない・・・など多くの問題を抱えたため、PARCCのテスト時間の短縮はこうした背景があります。
＜批判に対応するPARCC＆州政府＞
そもそもこのPARCCのこうしたテストデザインの変更は準備段階からありました。私がスタッフとして働いていたい２０１２年度、元々オリジナルプランでは年に３回のテストを２回に減らしました（私の上司が３回から２回にしても、テストスコアー上問題ないことをアメリカ教育省に書類提出することになり、そのプルーフリーディングしたので、良く覚えてます）。
さらに、元々テストに含まれていたスピーキング＆リスニングテストのパートも、各地元州政府の判断で受けても受けなくても良いという選択制にしたのも、大幅変更の一つ。
他方、PARCCを採用した州政府もそれなりに対応に、いくつか列挙すると、
－コロラド州では、１１年生（高校２年生）はPARCCテストを免除し、受けなくても良いことが議会で可決
－イリノイ州シカゴ学区では、なんと９割の学校がPARCCテストをボイコット！！（シカゴ学区は全米で２番目に大きな学区で、学力の低い生徒が多く、様々な問題がありますが、ボイコットって・・・というのが率直な感想）。
－オハイオ州は、テスト時間の長さによる怒涛の批判を受け、なんとPARCC脱退が６月３０日に正式決定
しました。
ちなみに、私の働く学区（PARCC採用した州の一つの州都市の学区）では、私の働くリサーチオフィスが学区内の全学校のテストスケジュール作成を担当しており、スケジュール調整が超！！難航したのは言うまでもなく、いくつかの学校では、（人手不足、コンピューター不足、時間が足らない等の理由で）無許可でテストスケジュールを変更し、問題になりました（笑）。
＜テストデザイン変更の問題＞
では、最後にこのテストデザインの変更に関わる専門的問題を少々。PARCCスタッフ、そしてPARCC採用州政府のお偉いさんたちは、怒涛の批判を受け、テスト時間の変更などのテストデザインを変更する決定をしましたが、専門的観点からいうと、容易くデザインの変更はできません！！！
リンク先のEducation Weekの記事では、PARCCのTechnical Advisory Committeeメンバー（PARCCテストを統計学、Psychometricの専門的観点からアドバイスする諮問機関のメンバー）のコメントが紹介されていて、指摘している問題を言うと、
１．Comparability of questions between 2014-15 school year and 2015-16 school year
英語にすると、こうスッキリした感じで述べられるのですが、日本語で分り易く言うと、
２０１４－１５年度は、PARCCのテストであるPerformance-based Assessmentは２月中旬くらいに実施されていましたが、上記に述べたTesting Windowの変更で、来年度、生徒は異なる時期（例えば３月以降）にテストを受けます。
つまり、去年は２月中旬時点での学力を測定したのに、（テスト日程の変更で）来年は３月以降に受けることになると、同じ時期に学力を測定してないから、今年度のテストと来年度のテスト（生徒は去年より多くの授業を受けてテストを受ける）では、スコアーを比べられない！！という指摘で、正直極めて正しい意見です。
２．Field-Testの実施
Field-test（フィールドテスト）とは、実際にテストを行う前に実施する仮テストのことで、このテストを実際に受ける全生徒ではなく、そこからサンプルと言われる一定の数の生徒にだけフィールドテストを受けさせ、テストの設問は正しく機能したか？、テスト時間は十分だったか？、など問題がないか確認する仮テストで、PARCCは昨年度の２０１３－１４年度に実施しました。
で、これの何が問題か？というと、来年テストデザインを変更する・・・ということは、このフィールドテストも再度実施しないといけません。ではいつ？？となると、なんと来年度である２０１５－１６年度中に実施するしかありません。
しかし！！、そうなると、フィールドテストを受け、さらに正式なテストも同じ年度に受ける生徒がいる！！ということで、フィールドテスト＆正式なテストを受ける生徒と、正式なテストだけを受ける生徒では、公平性に欠ける（つまり、フィールドテストを受けた生徒の方がテスト慣れすることになり、不公平が発生する）！！という問題で、これまた真っ当な指摘です。
３．テストスコアーの正当性・信頼性
最後の指摘は、PARCC Technical Advisory Committee（TAC)のメンバーで、Psychometricsに関して全米で一番と呼ばれる、Robert L. Brennan教授の意見（←私がPARCCスタッフとしてTACの会議に出席し、何度も会って話したことありますが、CIAの長官みたいな風貌で、超頭のキレる人。彼が会議で話す時、出席者全員が話すのをやめて、真剣に耳を傾ける・・・それくらいのオーラのある教授）。
ズバリ（英語で言うと）
Risk of increasing measurement error & decreasing the reliability of the test
英語なので、分かり難いですが、これを日本語で噛み砕いて言うと、
テストデザインを変更することで、テストが正確に生徒の学力を測定した、その正確度が変化する危険性があり、もし変化したら、今年度のテストスコアーと来年のスコアーは比較できないことになる。
ということです。この正確度（正確に言うと、Measurement errorと呼ばれる、不正確度ですが）がどれくらいかを数値上分析し、一定の数値に達しない場合、そのテストスコアーは無効、又は使い物にならない・・・という判断をするのが、このPsychometricと呼ばれるデータ分析理論です。
この専門家であるBrennan教授は、このPsychometricsの理論を全く無視して、テストデザインの変更を行うのは危険だ、という指摘で、これまた極めて真っ当な指摘です。
＜総論＞
数多くの批判からテストデザインの変更を決定したPARCCに様々な問題が生じ、正直大丈夫かな？というのが率直な感想です。
指摘したオハイオ州以外にも、アーカンソー州がPARCCから脱退するのも時間の問題で、さらにメリーランド州も州知事が、PARCCに対して懸念を公に表明し、メチャクチャ揉めてきました。
私の働く州は全く脱退の意向を示していないのですが、最近私の働く学区が契約する中堅テスト会社と電話会議したら、その会社のリサーチディレクターさんが、
I do not think PARCC will survive
と言って、正直笑ってしまいました。あー、テスト会社の人はPARCCは多分もたないって思ってるんだと知り、興味深かったですが、PARCCの動向、今後も何かあれば、このブログでレポートしたいと思います。
PARCC Shortens Its Common-Core Test
今日は前回のブログでお伝えした通り、全米共通学力テストの一つ、PARCC Assessment
の現在状況をお伝えし、このPARCCの現状がいかに厳しいかをレポートします。
＜長すぎたテスト時間＞
何度もお伝えしている全米共通学力テストの一つ、PARCC Assessment。私も数年前までスタッフとして仕事していたので、大半のスタッフは知り合いですが、このPARCC、２０１４－１５年度に初めて実施され、このテストで最も厳しい批判・苦情を受けたのが、
馬鹿みたいに長いTesting Time（テスト時間）・・・なんと１０－１１時間！！！！！！
通常のテストは約２時間くらいなので、１０－１１時間は長いにも程があります！！！！が、こんな決定をしたのがPARCCのスタッフ並びPARCCを採用した州政府のトップ連中。さすがに怒涛の批判を受け、来年度（２０１５－１６）は小学３年生から高校２年生までのテストを９０分は短くすることが正式決定しました。
＊＊＊＊＊
今年度は（学年によって異なりますが）６０－９０分のセッションが８から９あり、来年は７５－１１０分のセッションを６か７実施予定。
＊＊＊＊＊
さらに、Testing Window（テストを実際に行うオンライン上のページのこと）を３０日間はオープンにしておき、学校日数の４分の３にあたる日数が経過するまではテストを行わないことも決定しました。
今年度はPARCCの２つあるテストの一つのTesting Windowが（テスト時間が１０－１１時間もあったため）１２週間（１２日ではなく、１２Weeks!!)もあり、２月１６日から５月８日まで、さらにまた別のPARCC内のテストは８週間で、４月１３日から６月５日で、ともにかな長い日数でした。
＊＊＊＊＊
PARCCテストは、学校日数を半分終えた後あたりに実施されるPerformance-based Assessmentと学年度末に行われるEnd-of-year Assessmentの２つあります。
＊＊＊＊＊
テスト時間は長く、全米共通学習内容（Common Core State Standard)を全て教え終える前にテストを実施され、さらに学校によってはテストを行う時間、場所、コンピュータの数が足らない・・・など多くの問題を抱えたため、PARCCのテスト時間の短縮はこうした背景があります。
＜批判に対応するPARCC＆州政府＞
そもそもこのPARCCのこうしたテストデザインの変更は準備段階からありました。私がスタッフとして働いていたい２０１２年度、元々オリジナルプランでは年に３回のテストを２回に減らしました（私の上司が３回から２回にしても、テストスコアー上問題ないことをアメリカ教育省に書類提出することになり、そのプルーフリーディングしたので、良く覚えてます）。
さらに、元々テストに含まれていたスピーキング＆リスニングテストのパートも、各地元州政府の判断で受けても受けなくても良いという選択制にしたのも、大幅変更の一つ。
他方、PARCCを採用した州政府もそれなりに対応に、いくつか列挙すると、
－コロラド州では、１１年生（高校２年生）はPARCCテストを免除し、受けなくても良いことが議会で可決
－イリノイ州シカゴ学区では、なんと９割の学校がPARCCテストをボイコット！！（シカゴ学区は全米で２番目に大きな学区で、学力の低い生徒が多く、様々な問題がありますが、ボイコットって・・・というのが率直な感想）。
－オハイオ州は、テスト時間の長さによる怒涛の批判を受け、なんとPARCC脱退が６月３０日に正式決定
しました。
ちなみに、私の働く学区（PARCC採用した州の一つの州都市の学区）では、私の働くリサーチオフィスが学区内の全学校のテストスケジュール作成を担当しており、スケジュール調整が超！！難航したのは言うまでもなく、いくつかの学校では、（人手不足、コンピューター不足、時間が足らない等の理由で）無許可でテストスケジュールを変更し、問題になりました（笑）。
＜テストデザイン変更の問題＞
では、最後にこのテストデザインの変更に関わる専門的問題を少々。PARCCスタッフ、そしてPARCC採用州政府のお偉いさんたちは、怒涛の批判を受け、テスト時間の変更などのテストデザインを変更する決定をしましたが、専門的観点からいうと、容易くデザインの変更はできません！！！
リンク先のEducation Weekの記事では、PARCCのTechnical Advisory Committeeメンバー（PARCCテストを統計学、Psychometricの専門的観点からアドバイスする諮問機関のメンバー）のコメントが紹介されていて、指摘している問題を言うと、
１．Comparability of questions between 2014-15 school year and 2015-16 school year
英語にすると、こうスッキリした感じで述べられるのですが、日本語で分り易く言うと、
２０１４－１５年度は、PARCCのテストであるPerformance-based Assessmentは２月中旬くらいに実施されていましたが、上記に述べたTesting Windowの変更で、来年度、生徒は異なる時期（例えば３月以降）にテストを受けます。
つまり、去年は２月中旬時点での学力を測定したのに、（テスト日程の変更で）来年は３月以降に受けることになると、同じ時期に学力を測定してないから、今年度のテストと来年度のテスト（生徒は去年より多くの授業を受けてテストを受ける）では、スコアーを比べられない！！という指摘で、正直極めて正しい意見です。
２．Field-Testの実施
Field-test（フィールドテスト）とは、実際にテストを行う前に実施する仮テストのことで、このテストを実際に受ける全生徒ではなく、そこからサンプルと言われる一定の数の生徒にだけフィールドテストを受けさせ、テストの設問は正しく機能したか？、テスト時間は十分だったか？、など問題がないか確認する仮テストで、PARCCは昨年度の２０１３－１４年度に実施しました。
で、これの何が問題か？というと、来年テストデザインを変更する・・・ということは、このフィールドテストも再度実施しないといけません。ではいつ？？となると、なんと来年度である２０１５－１６年度中に実施するしかありません。
しかし！！、そうなると、フィールドテストを受け、さらに正式なテストも同じ年度に受ける生徒がいる！！ということで、フィールドテスト＆正式なテストを受ける生徒と、正式なテストだけを受ける生徒では、公平性に欠ける（つまり、フィールドテストを受けた生徒の方がテスト慣れすることになり、不公平が発生する）！！という問題で、これまた真っ当な指摘です。
３．テストスコアーの正当性・信頼性
最後の指摘は、PARCC Technical Advisory Committee（TAC)のメンバーで、Psychometricsに関して全米で一番と呼ばれる、Robert L. Brennan教授の意見（←私がPARCCスタッフとしてTACの会議に出席し、何度も会って話したことありますが、CIAの長官みたいな風貌で、超頭のキレる人。彼が会議で話す時、出席者全員が話すのをやめて、真剣に耳を傾ける・・・それくらいのオーラのある教授）。
ズバリ（英語で言うと）
Risk of increasing measurement error & decreasing the reliability of the test
英語なので、分かり難いですが、これを日本語で噛み砕いて言うと、
テストデザインを変更することで、テストが正確に生徒の学力を測定した、その正確度が変化する危険性があり、もし変化したら、今年度のテストスコアーと来年のスコアーは比較できないことになる。
ということです。この正確度（正確に言うと、Measurement errorと呼ばれる、不正確度ですが）がどれくらいかを数値上分析し、一定の数値に達しない場合、そのテストスコアーは無効、又は使い物にならない・・・という判断をするのが、このPsychometricと呼ばれるデータ分析理論です。
この専門家であるBrennan教授は、このPsychometricsの理論を全く無視して、テストデザインの変更を行うのは危険だ、という指摘で、これまた極めて真っ当な指摘です。
＜総論＞
数多くの批判からテストデザインの変更を決定したPARCCに様々な問題が生じ、正直大丈夫かな？というのが率直な感想です。
指摘したオハイオ州以外にも、アーカンソー州がPARCCから脱退するのも時間の問題で、さらにメリーランド州も州知事が、PARCCに対して懸念を公に表明し、メチャクチャ揉めてきました。
私の働く州は全く脱退の意向を示していないのですが、最近私の働く学区が契約する中堅テスト会社と電話会議したら、その会社のリサーチディレクターさんが、
I do not think PARCC will survive
と言って、正直笑ってしまいました。あー、テスト会社の人はPARCCは多分もたないって思ってるんだと知り、興味深かったですが、PARCCの動向、今後も何かあれば、このブログでレポートしたいと思います。