生徒の学力の伸びを測定する分析方法・Student Growth Percentileを用いた教員評価方法の問題点を指摘したブログについて。
An Update on New Jersey's SGPs: Year2 - Still not Valid！
Deconstructing Misinformation on Student Growth Percentiles & Teacher Evaluation in New Jersey
定期的にお伝えしている、私の最も大好きなBruce Baker先生のブログ（データ分析を用いて、アメリカの教育政策、とりわけ教育予算が正しく実施されているかを分析するのが専門）からで、今日のテーマは、
学力の伸びを測定する分析方法・Student Growth Percentile（SGP)を用いた教員評価を行うと、エラーが発生し、公平な評価ができていない
ということで、統計学に説明したものを、私のこのブログでできるだけ分り易く説明＆紹介したいと思います。
まず、説明する前に、
＜Student Growth Percentileとは？＞
Student Growth Percentile（SGP）ですが、これは（以前何度か説明したことがありますが、このネタ久々なので、おさらいの意味も含めてお伝えすると）
学力の伸びを測る最初の段階（つまり最初のテスト）で獲得したスコアーの生徒だけを集めて、再度（０から１００までに）序列化した分析方法
言葉で説明すると分かり難いので、具体的に言うと、
ある生徒が、初めに３００満点のテストで１５０点取ったとする
↓
二回目のテストを受け、２００点ならば学力の伸びは５０点
↓
SGPの分析方法では、一回目に１５０点を取った生徒だけを集め、１５０点を取った生徒だけで、どれくらいのスコアーが伸びたか（又は下がったか）０から１００までの数値内で測定＆計算する
というもの。これでも少し分かり難いかもしれないので、より分り易く言うと、例えば、
１０００人中、１００人が一回目に１５０点なら、この１００人の生徒だけを抽出し、この１００人の生徒の２回目のテストの伸び（又は下がったスコアー）を計算します。もし、この１００人の生徒の中で２回目のテストが２０１点かそれ以上（つまり、学力の伸びが５１点かそれ以上）の生徒が５０人いたら、２回目のテストが２００点で学力アップが５０点の生徒のSGPは、５０（丁度真ん中）となり、この５０がSGPです。
このSGPの特徴は、１回目のテストが５０点の人（つまり、比較的学力の低い生徒）が２回目で１００点で学力の伸びが５０点としても、学力の低い人の５０点アップと、一回目のスコアーが２００点から２５０点にアップしたこの゛５０”は、同じ５０点でも意味が違うので、SGPはある意味公平で分り易く、数多くの州政府などで採用されている、最も一般的な分析方法です。
＜SGPの問題点＞
問題は、
SGPを教員評価に用いると、エラーが生じる
というもの。紹介しているブログでは、このSGPを使った教員評価をニュージャージー州政府（NJ）が行おうとしていて、それを批判していますが、このNJのSGPの用い方が問題で、
SGPを複数年度（２学年かそれ以上）用いると、SGPでは測定できない要因が（単一年度よりも）多く学力に影響を及ぼす
というもの。当たり前ですが、学力の伸びは、貧困レベルが低い（つまり裕福な家庭）とか元々賢い生徒の方が（元々学力の低い生徒より）伸びが良ければ、先生の力量より、どんな生徒を担当するか？のが重要になり、教員評価だと、（貧困レベルの高い生徒や元々学力の低い生徒を教える先生と、そうでない先生とでは不公平になります。
結局は先生の力量が関係なくなるので、これが公平な許筠評価とはいえないのでは？ということになります。で、今回はそれをニュージャージー州の実際のデータで見てみたいと思います。
＜ニュージャージー州のSGP結果＞
これから見るデータのポイントですが、上記に説明したポイントを踏まえた上で、
１．単一年度のSGPのデータと、２年分のSGPのデータを比較する
２．生徒の学力の伸び（SGP）が以下の２つの要因で違いがあるかどうか？
－貧困レベル（←アメリカでは毎度お馴染みの昼食が無料である生徒が最も貧困レベルが高いので、データ分析では、この無料昼食の生徒の割合で分析）
－生徒の元々の学力 ←Proficiency（習熟）レベルに達している生徒の割合が高ければ高い程、担当生徒が元々賢い（学力が高い）生徒が多い
これですが、分り易く説明すると、
もし１年分の学力の伸び（SPG)より、２年間分の学力の伸びの方が貧困レベルや生徒の元々の学力の高さに影響を受けていれば、貧困レベルや生徒の元々の学力の数値と関連性（Correlation)が高くなる
ということで、以下がその分析結果です。
一見分かり難い結果なんですが、Math SGPは数学の学力の伸び、LA SGPは英語（LAはLanguage Artsの略）の学力の伸びで、Year1は１年目でYear２は２年目、2yr Avgは２年間の学力の伸びの平均です。
表の左欄は、％Proficiencyが各先生が担当した生徒の学力の高さで、% Free Lunchが無料昼食を示しています。
数値（つまりCorrelation：関連性がどれだけあるか？という数値ですが）が高ければ高い程関連性が高いのですが、当たり前ですが、英語のSGPと数学のSGP、又は英語の１年目のSGPと２年目のSGPの関連性が一番高い（表の左から２番目の欄で、0.6224と0.6137）のは当たり前ですが、ポイントは、
１．学力レベルとの関係
単一年度（学力の伸びの１年目＆２年目）を２年分の平均（表でいう２yr Avg）にすると、英語、数学共に指導する生徒の元々の学力レベルの影響力が増す
（英語では単一年度のSGPと学力レベルの数値は０．５０－０．５８くらいですが、２年分の平均にすると、０．６１＆０．６３で明らかに数値が上）
（数学はややましで、単一年度では０．３－０．５４くらいの数値ですが、２年分の平均にすると、０．４４＆０．５２８でやや高め）
↑
つまり、学力の伸びのデータを複数年で教員評価に使用すると、（単一年度より）エラーが増す（特に英語）
２．貧困レベルとの関係（表の一番最後の赤色の数値）
（学力レベル同様）数学の単一年度（－０．３７＆－０．３１）が２年分の平均では－０．３８、英語は－０．４８＆－０．５５５が、２年分の平均にすると－０．５７８に上昇
↑
これまた、貧困レベルが２年分の学力の伸びに影響を及ぼし、教員評価のエラーが増す
というわけで、（表の結果を理解するの難しいかも知れませんが、今回は説明がかなり複雑なのはすみません・・・）要は、
学力の伸び：SGPを複数年度で用いて教員評価を行うと、教える生徒の学力が高いほうが教員評価は有利で、貧困レベルが高ければ高いほど、評価される教員は困る・・・・
言い換えると、
教える生徒の学力の違いや貧困レベルが考慮されない、不公平な教員評価！！
ということで、紹介しているBaker先生、ニュージャージー州の教員評価システムを批判しています。
＜総論＞
今日のブログ、統計学を理解している人には分かり易いのですが、そうでない人にはわかりにくかったかもしれません・・・・・・・が、要するに
学力の伸びを複数年度で使用すると、貧困レベルや教える生徒の元々の学力の高さに影響が多く受けて、教員評価にSGPは容易く用いるのは統計学上問題あり
というのが、趣旨です。
アメリカでは、このSGPを教員評価に用いようっていう州政府がどんどん出てきていて、統計学上のエラーをどう対処するか・・・という議論が教員評価システムの実施に追いついていません・・・。
教員評価自体は私も賛成の立場ですが、これはあくまで
適切＆公平な分析方法が確立されている
という大前提の話しなので、ニュージャージー州の教員は気の毒に・・・と思ってしまいました。
An Update on New Jersey's SGPs: Year2 - Still not Valid！
Deconstructing Misinformation on Student Growth Percentiles & Teacher Evaluation in New Jersey
定期的にお伝えしている、私の最も大好きなBruce Baker先生のブログ（データ分析を用いて、アメリカの教育政策、とりわけ教育予算が正しく実施されているかを分析するのが専門）からで、今日のテーマは、
学力の伸びを測定する分析方法・Student Growth Percentile（SGP)を用いた教員評価を行うと、エラーが発生し、公平な評価ができていない
ということで、統計学に説明したものを、私のこのブログでできるだけ分り易く説明＆紹介したいと思います。
まず、説明する前に、
＜Student Growth Percentileとは？＞
Student Growth Percentile（SGP）ですが、これは（以前何度か説明したことがありますが、このネタ久々なので、おさらいの意味も含めてお伝えすると）
学力の伸びを測る最初の段階（つまり最初のテスト）で獲得したスコアーの生徒だけを集めて、再度（０から１００までに）序列化した分析方法
言葉で説明すると分かり難いので、具体的に言うと、
ある生徒が、初めに３００満点のテストで１５０点取ったとする
↓
二回目のテストを受け、２００点ならば学力の伸びは５０点
↓
SGPの分析方法では、一回目に１５０点を取った生徒だけを集め、１５０点を取った生徒だけで、どれくらいのスコアーが伸びたか（又は下がったか）０から１００までの数値内で測定＆計算する
というもの。これでも少し分かり難いかもしれないので、より分り易く言うと、例えば、
１０００人中、１００人が一回目に１５０点なら、この１００人の生徒だけを抽出し、この１００人の生徒の２回目のテストの伸び（又は下がったスコアー）を計算します。もし、この１００人の生徒の中で２回目のテストが２０１点かそれ以上（つまり、学力の伸びが５１点かそれ以上）の生徒が５０人いたら、２回目のテストが２００点で学力アップが５０点の生徒のSGPは、５０（丁度真ん中）となり、この５０がSGPです。
このSGPの特徴は、１回目のテストが５０点の人（つまり、比較的学力の低い生徒）が２回目で１００点で学力の伸びが５０点としても、学力の低い人の５０点アップと、一回目のスコアーが２００点から２５０点にアップしたこの゛５０”は、同じ５０点でも意味が違うので、SGPはある意味公平で分り易く、数多くの州政府などで採用されている、最も一般的な分析方法です。
＜SGPの問題点＞
問題は、
SGPを教員評価に用いると、エラーが生じる
というもの。紹介しているブログでは、このSGPを使った教員評価をニュージャージー州政府（NJ）が行おうとしていて、それを批判していますが、このNJのSGPの用い方が問題で、
SGPを複数年度（２学年かそれ以上）用いると、SGPでは測定できない要因が（単一年度よりも）多く学力に影響を及ぼす
というもの。当たり前ですが、学力の伸びは、貧困レベルが低い（つまり裕福な家庭）とか元々賢い生徒の方が（元々学力の低い生徒より）伸びが良ければ、先生の力量より、どんな生徒を担当するか？のが重要になり、教員評価だと、（貧困レベルの高い生徒や元々学力の低い生徒を教える先生と、そうでない先生とでは不公平になります。
結局は先生の力量が関係なくなるので、これが公平な許筠評価とはいえないのでは？ということになります。で、今回はそれをニュージャージー州の実際のデータで見てみたいと思います。
＜ニュージャージー州のSGP結果＞
これから見るデータのポイントですが、上記に説明したポイントを踏まえた上で、
１．単一年度のSGPのデータと、２年分のSGPのデータを比較する
２．生徒の学力の伸び（SGP）が以下の２つの要因で違いがあるかどうか？
－貧困レベル（←アメリカでは毎度お馴染みの昼食が無料である生徒が最も貧困レベルが高いので、データ分析では、この無料昼食の生徒の割合で分析）
－生徒の元々の学力 ←Proficiency（習熟）レベルに達している生徒の割合が高ければ高い程、担当生徒が元々賢い（学力が高い）生徒が多い
これですが、分り易く説明すると、
もし１年分の学力の伸び（SPG)より、２年間分の学力の伸びの方が貧困レベルや生徒の元々の学力の高さに影響を受けていれば、貧困レベルや生徒の元々の学力の数値と関連性（Correlation)が高くなる
ということで、以下がその分析結果です。
一見分かり難い結果なんですが、Math SGPは数学の学力の伸び、LA SGPは英語（LAはLanguage Artsの略）の学力の伸びで、Year1は１年目でYear２は２年目、2yr Avgは２年間の学力の伸びの平均です。
表の左欄は、％Proficiencyが各先生が担当した生徒の学力の高さで、% Free Lunchが無料昼食を示しています。
数値（つまりCorrelation：関連性がどれだけあるか？という数値ですが）が高ければ高い程関連性が高いのですが、当たり前ですが、英語のSGPと数学のSGP、又は英語の１年目のSGPと２年目のSGPの関連性が一番高い（表の左から２番目の欄で、0.6224と0.6137）のは当たり前ですが、ポイントは、
１．学力レベルとの関係
単一年度（学力の伸びの１年目＆２年目）を２年分の平均（表でいう２yr Avg）にすると、英語、数学共に指導する生徒の元々の学力レベルの影響力が増す
（英語では単一年度のSGPと学力レベルの数値は０．５０－０．５８くらいですが、２年分の平均にすると、０．６１＆０．６３で明らかに数値が上）
（数学はややましで、単一年度では０．３－０．５４くらいの数値ですが、２年分の平均にすると、０．４４＆０．５２８でやや高め）
↑
つまり、学力の伸びのデータを複数年で教員評価に使用すると、（単一年度より）エラーが増す（特に英語）
２．貧困レベルとの関係（表の一番最後の赤色の数値）
（学力レベル同様）数学の単一年度（－０．３７＆－０．３１）が２年分の平均では－０．３８、英語は－０．４８＆－０．５５５が、２年分の平均にすると－０．５７８に上昇
↑
これまた、貧困レベルが２年分の学力の伸びに影響を及ぼし、教員評価のエラーが増す
というわけで、（表の結果を理解するの難しいかも知れませんが、今回は説明がかなり複雑なのはすみません・・・）要は、
学力の伸び：SGPを複数年度で用いて教員評価を行うと、教える生徒の学力が高いほうが教員評価は有利で、貧困レベルが高ければ高いほど、評価される教員は困る・・・・
言い換えると、
教える生徒の学力の違いや貧困レベルが考慮されない、不公平な教員評価！！
ということで、紹介しているBaker先生、ニュージャージー州の教員評価システムを批判しています。
＜総論＞
今日のブログ、統計学を理解している人には分かり易いのですが、そうでない人にはわかりにくかったかもしれません・・・・・・・が、要するに
学力の伸びを複数年度で使用すると、貧困レベルや教える生徒の元々の学力の高さに影響が多く受けて、教員評価にSGPは容易く用いるのは統計学上問題あり
というのが、趣旨です。
アメリカでは、このSGPを教員評価に用いようっていう州政府がどんどん出てきていて、統計学上のエラーをどう対処するか・・・という議論が教員評価システムの実施に追いついていません・・・。
教員評価自体は私も賛成の立場ですが、これはあくまで
適切＆公平な分析方法が確立されている
という大前提の話しなので、ニュージャージー州の教員は気の毒に・・・と思ってしまいました。