来てしまいましたこの日が。
今回最も不安だったのが、評価設計。
設問の絞り込みと、データ収集の計画書作成、この二つをしっかりやり切れるか、緊張して朝を迎えました。
設計のワークを進めるにあたり、参加者の合意を確認しながら進めること、データ収集の計画で、簡単に入手できるデータや主観的なデータばかりに集中しないようにということを心がけました。
前回までのワークで、出された質問は69個。
評価を通して知りたい質問は？という問いに対する質問で、評価設問そのものとして使えるものにはなっていません。 中にはそのまま使えそうなものもありましたが、その多くはデータ収集の時点で使うような質問だったり、既存の事業内容のことではなく将来に対する質問や、教育事業に関するものではない質問等も混ざっていたりして、混乱が見えました。
住民側の質問は事業終了後について尋ねるものが多く、継続性を問うものに偏っており、一方、スタッフから出された質問は、有効性を問うものに偏りが見えました。
ワークが始まる前に、質問の本質を変えないように注意しつつ、可能な限り評価設問の形に変換し、評価基準毎に並べ変えたリストを用意しました。
この仕込みの作業を通して、それぞれの参加者の関心事や、理解仕切れていない場所などが見えたので、実際のワークではそれに気を付けながら進めることができました。
資料として用意したのはこの3点です。
１．2012年の中間評価で使用した評価設問
２．今回チームから出された69設問と整理後の質問
３．田中先生作成の評価基準毎の設問サンプル
３つの資料を参考にして、結果的にできた設問がこの11個の質問です。
1）有効性：奨学金支援は、ハイスクール卒業資格を得るために効果があったのか。
2）有効性：補習活動は学習能力を上げるのに効果があったのか。
3）有効性：図書館はライフスキルを高めるのに効果があったのか。
4）有効性：ライフスキル研修は、ライフスキルを高めるのに効果があったのか。
5）効率性：奨学金支援で、投入に見合う結果が得られたのか。
6）継続性：カシグラハン地区の住民団体KAISAは、補習活動をソルトの支援がなくなった後も、継続していける人的・資金的・体制的な能力があるのか。
7）継続性：パヤタス地区の住民団体LPIは、図書館をソルトの支援がなくなった後も、継続していける人的・資金的・体制的能力があるのか。
8）継続性：KAISAとLPIは、ライフスキルトレーニングをソルトの支援がなくなった後も、継続していける人的・資金的・体制的能力があるのか。
9）妥当性：子どもエンパワメント事業は、（もともとの目的であった）中途退学の子どもを減らすことができたのか。
10）妥当性：読み聞かせの活動は、ライフスキルを向上させるために妥当なアプローチなのか。
11）その他：事業目的は達成できたのか。
それぞれ一個一個について、慎重に皆の合意をとりつけ、決めていきました。
妥当性の問を作るところで、ある2人のスタッフの考えが合わず、なかなか質問が絞り込めず困る場面があったのですが、「ファシリテーターに任せますか？」という質問には全員「ノー」。（あれれ）
普段だったら、割と簡単に委ねられるのですが、今日は違ってました。
「休憩をとって、もう少し時間をもらえたら、自分たちで問を作ります。」というので、待つことにしました。
設問決定後は、データ収集に入るための計画表づくりです。
今回は、14名いるので、2グループに分けて作成しました。
みんなで丸一日、評価のことばかり考えた1日。終盤はさすがに疲労の色が顔に出ていました。
今日できたのは、設計図の素案までです。実際のデータ収集に入るには、まだ詰めないといけないこと、準備しないといけないことがあります。明日は、2手に分かれ、設計の最終化をする班と、データ収集を開始する班とに分かれます。
設計の山を越え一段落ですが、設問を見ると、これから始まるデータ収集（設問の答えを出すための材料集め）もなかなかのものになりそうです。（苦笑）
まだ心細さが見えつつも、リーダーとしての役割が板についてきたビッキーさん。
記録や補佐で、助けてくれているインターン、若手スタッフ。
彼らが評価活動を支えてくれています。
評価5日目。終わって外に出たら、どっと疲れが出てきました。
