レッスン評価システム その2
8月に導入したレッスン評価システム
。
おかげさまで、多くの生徒様にご利用いただいている。
これまでの使い方は、
・自分の評価結果を講師が読み、
・自分の弱み・強みを把握し、
・スキル上達に役立てる、
というものだった。
（一部の評価の悪い講師には別途トレーニングを課すようにしているのを除く）
で、今日は導入してから約2か月たったので、
講師のスキルレベルが全体としてどれだけ向上しているかを測ってみた
（ツールをつくってもらった）
違う母集団同士で比較しないよう、
同じ講師集団200人で、8・9・10月の評価の変化を調べてみた。
すると嬉しいことに、
この2ヶ月間、全ての項目において、5段階評価で平均が0.1～0.5伸びていた。
結果、多くの項目で評価が5段階評価で4を超えるようになってきた。
つまり、講師のスキルが着実に向上していることを表しており、
非常に嬉しい結果となった。
ただ、あまりにも望ましい結果すぎるので、
「ただ単に生徒様の評価が甘くなっただけかな？」
と思い、
講師200人を、
・比較的新しい講師100人
・比較的古い講師100人
に分けて分析してみた。
すると、次のような傾向が見られた。
・8月時点で、古い講師達は元から評価が高い
・この2か月では、新しい講師達は古い講師達の4-8倍の伸びを示した
・結果として、この2ヶ月間で、新しい講師達は古い講師達の評価に近づきつつある
この傾向からすると、ただ単に評価が甘くなっている、ということではなく、
数字として信頼性のあるものだと思う。
今日はざっくり分析してみただけだが、もっといろいろじっくり分析したい。
考えてみると、これほど面白い（といってしまって語弊があるとしたら、分析しがいのある）データはなかなかない。
特に、下記に絞って評価の変化を調べていきたい。
・評価の低い講師たち （＝スキルなどを伸ばす必要のある講師たち）
・評価を低くつける生徒様たち （＝レアジョブのレッスンに不満を持っている生徒様たち）
・評価の伸びが著しい講師たち （＝なんらかのきっかけで実力が伸びた講師たち）
・評価を昔より高くつけるようになった生徒様たち （＝なんらかのきっかけでご満足いただけるようになった生徒様たち）
このレッスン評価システムのデータを分析し、
なぜ評価が低くなっているか・どうしたら高く評価して頂けるようになるかを考えぬき、
打ち手（どんなトレーニングを実施するか等）に適切な優先順位をつけ実行し、
打ち手が有効だったかどうかをまたデータ分析により確認する・・・
このようなサイクルを、組織として回していくことで、
最も質の高いレッスンを提供できる英会話サービスを目指しています。
向こうのスタッフを正社員に勧誘するときは、次のように説得しました。
「オンライン英会話は、始まってまだ歴史が浅い」
「だから、どういうレッスン形式がいいか、まだベストプラクティスは存在しない」
「逆にいえば、だから、僕たちがオンライン英会話のベストプラクティスをつくれる可能性があるってことになる」
「そして僕たちのAdvantageは、このレッスン評価のデータ。」
「これほど大量のデータを継続的に集めているところはなかなかない」
「だから、このデータをもとにPlan・Do・Seeのサイクルを回して、
どんどん打ち手の精度を高めていけば、
必ずやオンライン英会話のベストプラクティスがつくれる」
「だから、僕は君にレアジョブでフルタイムで働いてほしいと思っている。」
「一緒に、オンライン英会話のベストプラクティスをつくろう」
リアルの英会話学校でも、もちろんレッスン評価はあるとは思いますが、
そこよりもはるかに徹底したデータ収集・分析を行い、
レッスンの質を向上させていきたいと考えています。
（このエントリですが、本来ならばここではなく、レアジョブのホームページ上で発表すべきことなのかもしれません。ですが、「レッスン評価システム、ところでどういう役に立っているの？」 という疑問をもしかしたらお持ちの方がいらっしゃるかもしれないと思い、ここにその役立て方を書いてみました。 上記のように、生徒様皆様のレッスン評価はレアジョブの質向上において最重要の指標となっております。このシステムによって、今後さらに質を向上させていく予定でございます。この場を借りて御礼申し上げますとともに、今後も忌憚ないレッスンのご評価をよろしくお願いいたします。）
おかげさまで、多くの生徒様にご利用いただいている。
これまでの使い方は、
・自分の評価結果を講師が読み、
・自分の弱み・強みを把握し、
・スキル上達に役立てる、
というものだった。
（一部の評価の悪い講師には別途トレーニングを課すようにしているのを除く）
で、今日は導入してから約2か月たったので、
講師のスキルレベルが全体としてどれだけ向上しているかを測ってみた
（ツールをつくってもらった）
違う母集団同士で比較しないよう、
同じ講師集団200人で、8・9・10月の評価の変化を調べてみた。
すると嬉しいことに、
この2ヶ月間、全ての項目において、5段階評価で平均が0.1～0.5伸びていた。
結果、多くの項目で評価が5段階評価で4を超えるようになってきた。
つまり、講師のスキルが着実に向上していることを表しており、
非常に嬉しい結果となった。
ただ、あまりにも望ましい結果すぎるので、
「ただ単に生徒様の評価が甘くなっただけかな？」
と思い、
講師200人を、
・比較的新しい講師100人
・比較的古い講師100人
に分けて分析してみた。
すると、次のような傾向が見られた。
・8月時点で、古い講師達は元から評価が高い
・この2か月では、新しい講師達は古い講師達の4-8倍の伸びを示した
・結果として、この2ヶ月間で、新しい講師達は古い講師達の評価に近づきつつある
この傾向からすると、ただ単に評価が甘くなっている、ということではなく、
数字として信頼性のあるものだと思う。
今日はざっくり分析してみただけだが、もっといろいろじっくり分析したい。
考えてみると、これほど面白い（といってしまって語弊があるとしたら、分析しがいのある）データはなかなかない。
特に、下記に絞って評価の変化を調べていきたい。
・評価の低い講師たち （＝スキルなどを伸ばす必要のある講師たち）
・評価を低くつける生徒様たち （＝レアジョブのレッスンに不満を持っている生徒様たち）
・評価の伸びが著しい講師たち （＝なんらかのきっかけで実力が伸びた講師たち）
・評価を昔より高くつけるようになった生徒様たち （＝なんらかのきっかけでご満足いただけるようになった生徒様たち）
このレッスン評価システムのデータを分析し、
なぜ評価が低くなっているか・どうしたら高く評価して頂けるようになるかを考えぬき、
打ち手（どんなトレーニングを実施するか等）に適切な優先順位をつけ実行し、
打ち手が有効だったかどうかをまたデータ分析により確認する・・・
このようなサイクルを、組織として回していくことで、
最も質の高いレッスンを提供できる英会話サービスを目指しています。
向こうのスタッフを正社員に勧誘するときは、次のように説得しました。
「オンライン英会話は、始まってまだ歴史が浅い」
「だから、どういうレッスン形式がいいか、まだベストプラクティスは存在しない」
「逆にいえば、だから、僕たちがオンライン英会話のベストプラクティスをつくれる可能性があるってことになる」
「そして僕たちのAdvantageは、このレッスン評価のデータ。」
「これほど大量のデータを継続的に集めているところはなかなかない」
「だから、このデータをもとにPlan・Do・Seeのサイクルを回して、
どんどん打ち手の精度を高めていけば、
必ずやオンライン英会話のベストプラクティスがつくれる」
「だから、僕は君にレアジョブでフルタイムで働いてほしいと思っている。」
「一緒に、オンライン英会話のベストプラクティスをつくろう」
リアルの英会話学校でも、もちろんレッスン評価はあるとは思いますが、
そこよりもはるかに徹底したデータ収集・分析を行い、
レッスンの質を向上させていきたいと考えています。
（このエントリですが、本来ならばここではなく、レアジョブのホームページ上で発表すべきことなのかもしれません。ですが、「レッスン評価システム、ところでどういう役に立っているの？」 という疑問をもしかしたらお持ちの方がいらっしゃるかもしれないと思い、ここにその役立て方を書いてみました。 上記のように、生徒様皆様のレッスン評価はレアジョブの質向上において最重要の指標となっております。このシステムによって、今後さらに質を向上させていく予定でございます。この場を借りて御礼申し上げますとともに、今後も忌憚ないレッスンのご評価をよろしくお願いいたします。）