組み合わせテストのコスト
一般的には直交表やオールペア法の組み合わせテスト技法のメリットとして「少ないコストと高い品質の両立が可能」というスローガンが言われていると思いますが、果たしてそうでしょうか。
組み合わせテスト技法で生成されたテストケースは、1つ1つのテストケースが異なるパラメータの異なる値であるため、1つのテストケースをテスト実施するには、組み合わせテスト以外の場合のテストより比較的長い時間なコストがかかります。また、異なるパラメータを多く集めてテストケースが作成されているため、テスト実施にはテスト対象に対する充分な知識が必要とされます。
私のチームでは、組み合わせテストを適用するのは全体の20%ほどしかありません。何故かというと、従来、勘に頼ってきた組み合わせテストのテストケース抽出を、組み合わせテスト技法で置き換えただけだからです。これまでに組み合わせテストを行なってこなかった対象については、これまで同様に組み合わせテスト技法を適用することはありません。
様々な対象に組み合わせテストを適用しようとすると、テストケース数が倍増することになり、コスト的に無理だからです。
私の経験からすれば、組み合わせテスト技法を採用したからといって、テストにかかるトータルのコストが少なくなることはありません。直交表やオールペア法のメリットだけが主張されているように感じます。
ここで冒頭のスローガンは、「従来と変わらないコストで高い品質が可能」と訂正するべきでしょう。
組み合わせテスト技法で生成されたテストケースは、1つ1つのテストケースが異なるパラメータの異なる値であるため、1つのテストケースをテスト実施するには、組み合わせテスト以外の場合のテストより比較的長い時間なコストがかかります。また、異なるパラメータを多く集めてテストケースが作成されているため、テスト実施にはテスト対象に対する充分な知識が必要とされます。
私のチームでは、組み合わせテストを適用するのは全体の20%ほどしかありません。何故かというと、従来、勘に頼ってきた組み合わせテストのテストケース抽出を、組み合わせテスト技法で置き換えただけだからです。これまでに組み合わせテストを行なってこなかった対象については、これまで同様に組み合わせテスト技法を適用することはありません。
様々な対象に組み合わせテストを適用しようとすると、テストケース数が倍増することになり、コスト的に無理だからです。
私の経験からすれば、組み合わせテスト技法を採用したからといって、テストにかかるトータルのコストが少なくなることはありません。直交表やオールペア法のメリットだけが主張されているように感じます。
ここで冒頭のスローガンは、「従来と変わらないコストで高い品質が可能」と訂正するべきでしょう。