全米共通学力基準・テストプロジェクトのPARCC&SBAC(Smarter Balanced Assessment Consortiumの2つのテストを将来的にどう共存していくか?について。

PARCC・Performance Level Descriptors

http://www.parcconline.org/sites/parcc/files/PARCCCCRDPolicyandPLDs_FINAL.pdf


Smarter Balaced・Performance Level Descriptors

http://www.smarterbalanced.org/news/smarter-balanced-releases-draft-initial-achievement-level-descriptors-for-public-review/


http://www.smarterbalanced.org/achievement-level-descriptors-and-college-readiness/


最近ずーと忙しかったので全米共通学力基準プロジェクト・PARCCのについてアップデートしてなかったですが、仕事を辞めたとはいえ、ネタだけは豊富にあるので、(別に辞めたからっていう理由ではないでけど)、現在行われている状況&問題点を指摘しながら、今回の問題を考察してみたいと思います。


今日取り上げるのは、


全米共通学力基準・テストのプロジェクトであるPARCCとSmarter Balancedをどう共存していくか?


について。


<2つのテストのComparability>


私がPARCCのプロジェクトに関わっていたので、PARCCの情報が主でしたが、全米共通学力テストは、PARCCとSmarter Balanced Assessment Consortium(SBAC)の2つが現在進行形で行われています。どちらも連邦政府政府から予算を提供されてやっていますが、問題は


2つのテストスコアー・テスト内容・テスト形式がそれだけComparableか?


ということ。Comparableとは「比較できる、同等な」なる訳語で、これだけ読んでもぴーんときませんが、要は、


PARCCのテストとSBACの(例えば)テストスコアーが比較できるのか?テスト結果から得られる情報が(例えば)College ReadyとPARCCので判断されたものが、SBACでも同じようは判断結果になるのか?という2つのテストから得られる情報がどれだけ同じ意味を持つのか?


ということです。


以前この話しについて、このブログでふれたことがありますが、そのおさらいとして、


予算を提供したアメリカ・連邦政府はこの2つのテストを一つにすること、どれだけComparableにするか?については、必修事項ではないものの、Encouraged(推奨される)レベルほどの取り組み、


他方、この2つのテストがどれだけComparableにするか?についてはリサーチ部門に一定の予算が組まれている(つまり、リサーチ自体はされるのです)。


ということがわかっています。


<2つのテストの決定的な違い>


では、この2つのテスト、最終的にはComparableになり、又は一つに統合されるのか?というと、そんな簡単なものではありません。実はこの2つのテスト、どちらも全米共通学力基準に沿ったものとして作られていますが、幾つかの難題を抱えています。


1.Performance・Achievement Levelが異なる


Performance Level(PARCCのはPerformance Level、SBACはAchievement Levelと呼んでます)とは、学力テスト結果に基づいて判断されるレベルで、このレベルに応じて各州政府、地元の学校は自分たちの生徒の学力状況を判断するのですが、問題は、


PARCCは5レベルだが、SBACは4レベル


とレベルの数が異なることになってしまいました。これって、実は意外に厄介で、考えることは例えば、


どちらも取り組んでいるCollege Readiness(大学に進学&勉強する学力があるかどうかの判断)の際に、この異なるレベルをどう各学校は判断するのか?


PARCCは5レベルの内、4レベル以上がCollege Readyと判断されるという前提で今プロジェクトを進めています。SBACはリンク先の情報によると、2013年3月にAchievement Level、それに伴うCollege Readinessについて一定の決定を下すそうなので、どのレベル以上が、College Readinessにおけるどんな判断基準になるのか今後決まると思います。


いずれにせよ、レベルが異なるのってComparableにする上で結構厄介な問題になると思いますが・・・。


2.Psychometricなテスト分析方法の違い


PARCCとSBACの違いで個人的に気になるのが、この生徒の学力を測定する際に用いるPsychometric分析方法が異なること。


データ分析、とりわけPsychometricなリサーチの経験がある人が少ないため、この違いの重要性がいまいち取りだたされていないのが歯がゆいのですが、


PARCCはComputer-based testing(コンピューター式テスト)、又はPaper-and-pencil Testing(普通のペーパーテスト)


SBACはComputer-adaptive Testing(生徒の学力によって設問が変化するコンピューター式テスト)


です。PARCCのコンピューター式テストは、あくまでパソコンでテストを受け、設問に答えるか、コンピューターがない地域では代わりにペーパーでテストを受ける・・・とあくまで生徒が解く問題は基本同じです(まー、厳密に言うと、少々異なるのですが、今日ははスキップ)。


他方、SBACは、(SAT、GRE、TOEFLなどで用いられている)生徒の各設問の正解・不正解によってテストの設問が変わり、難易度も変化するComputer-adaptive testing(通称CAT)を採用することに決まっています


となると・・・です。テスト結果から得られる学力状況の情報量が結構違うのです。理論的に分かるのは、


CATだとテストの設問の数が少なくて済む(逆に普通のコンピューター式テストの方が学力を正確に測定するために、より沢山の設問を設定する必要があります)。


テスト結果後に得られる(PARCC、SBACでそれぞれの)スコアーがどれだけComparableにできるか全くの未定

上の話しですが、少し分かりにくいと思うので、分り易く説明すると、


例えば、PARCCのテストの200点のスコアーとSBACの200点のスコアーが同じ意味を持つのか?(英語で言うと、200 scores are comparable across PARCC and SBAC testing modes)というと、答えはNO!!です。


異なるPsychometric分析方法で得た学力スコアーは、Scalingという分析方法を通してスコアーが弾き出されるのですが、異なるテスト形式で出た2つのスコアーがどれだけComparableになるのか、極めて不明なのです・・・(この話し、かなり専門的になるので、この辺りでやめときます。


<今後の課題:Comparableにする必要性>


この問題、PARCCからはPARCC・リサーチコミッティーメンバーの一人が担当してて、毎週電話会議でこの問題のアップデートを私は聞いていたので、たまたま詳しいのですが、その担当者はアップデートで嘆き節だったのが印象的です・・・が、そんなことを言っても仕方ありません。


私も参加していた電話会議でも言われていますが、課題・・というか根本的な問題は、


PARCCとSBACのテストスコアーなどの情報のComparableは果たして必要なのか?


というが最も重要な問題です。確実に言えることは、


SBACのテストを受けている生徒が、引越しし、PARCCのテストを高校生の途中から受けるようになった場合、College-readinessの判断はどう行うのか?


大学によっては、SBACのテストを受けてCollege-readinessと判断されて入学する生徒もいれば、PARCCのテストで同じようにCollege-readinessと判断されている生徒が入学するが、大学側はそれぞれの生徒をどう対処するのか?


とある程度のComparableは必要なケースが上記のように考えられるので、全くしないわけにはいきません。

というわけで、このPARCCの&SBAC Comparability問題、2014年8月終わりまでにどう収拾をつけるか、今後も随時チェック&アップデートしたいと思います。