2019年3月27日と3月28日にJaSST’19 Tokyoのコミュニティブースで実施した
「テストケースの実態に関するアンケート」の結果をまとめてみました。
本アンケートは「テストケース」と呼ばれるモノが、
どのような形式で記述されているのか、
どのように管理されているか、
その実態を知りたいがために調査した。
おそらく、本アンケートの内容は文献を調べれば出てくるような情報なのかもしれないのですが、
生の声を聴いて確認したく、直接インタビューする形式でのアンケートとしてみました。
アンケートの設問は下記の5問。
1) テストケースの粒度について
2) テストケースの記述方式について
3) テストケースの整理、グルーピングの仕方ついて
4) テストケースの実行手順の決定方法について
5) テスト管理について
回答数は30数名の方に回答をいただきました。
設問によっては、複数回答、未回答があります。
1) テストケースの粒度について
設問１は、テストケースの粒度を確認した内容です。
JSTQBでは、
ハイレベルテストケース⇔ローレベルテストケース
と区分けしているのですが、
それだけでは聞きづらいため、
4段階にわけて意見を聴くことにしました。
アンケート結果は、
「レベル4」という回答が多かったです。
アンケート中に気づいたのですが、
開発スタイルや体制、テストフェーズ、レベルによって、
粒度が変わるという点があるため、
コンテキストと合わせて確認すると良いのかもしれない…。
2) テストケースの記述方式について
どのような形式で、どのような内容を記述しているか、
確認しました。
内容は、よく見るテンプレートのタイプとその内容です。
テンプレートは、「水平展開型」が最多でした。
「水平展開型」はデータとして扱いやすいため、
と言う意見もあった。
「垂直展開型」は、自動テストで扱いやすいとのこと。
あとテストケースの内容も聴いてみました。
内容は、「手順」や「期待結果」などのテストの実施に必要な項目を除くと、
テンプレートに関係なく「観点」、「機能」、「目的」、「条件」が記述されてますね。
3) テストケースの整理、グルーピングの仕方ついて
前述のテストケースをどのようにグルーピングしているのかを確認しました。
最多は、
「機能・仕様」でグルーピング、
次に
「目的・テストタイプ」、「ストーリー・シナリオ」
となっています。
「ストーリー・シナリオ」は、後述する実行手順に関係していると思われます。
4) テストケースの実行手順の決定方法について
前述までのグルーピングしたテストケースの実行順について確認しました。
「シナリオ」、「ユースケース」の回答が多数でした。
「シナリオ」の回答は、
前述のグルーピングが「シナリオ」となっている場合が大半です。
「ユースケース」の回答は、
前述のグルーピングが「機能」となっている場合があり、
管理と実行を意識しているというのが見受けられます。
基本的には、グルーピングがそのまま実行順になっているように思われる。
5) テスト管理について
前述までのテストケースやその管理、実行結果にどのようなツールを使っているか
を確認しました。
※設問では調べられる範囲で調べたツールですが、まだまだあります。
Excelとスプレッドシートが多数を占めてます…。
この場合、バージョン管理は、それぞれの組織で工夫、特長がありそうです。
利用されるツールは、別ツールと連携できることがポイントのようです。
独自ツールはどのようなモノだったか、内製したのはなぜか、
も確認すべきだったかもしれない…。
ついでに、過去に使っていたツールも確認してみた。
なぜ使われなくなったのか、理由も確認すべきだったかも…。
一部では、
「ツール導入による教育コストがネック」
や
「ツール導入にはチームの成熟度も必要」
との声がきけました。
また、あわせて使ってみたいツールも聴いてみました。
回答としては「TestLink」があがっていました。
使ってみたい理由まで踏み込んでいないのですが、
OSSで知名度があることが大きいのかもしれないです。
「TestLink」に関しては、
利用経験者からは意見として
「UIが残念」、「機能がわかりづらい」
という声が…。