組み合わせテストケース生成ツール「PictMaster」とソフトウェアテストの話題 -6ページ目

<< 前のページへ最新 | 4 | 5 | 6 | 7 | 8 | 最初次のページへ >>

フリーな直交表ツール PictMaster を使用した場合のPairwise法との比較

PictMasterは直交表方式とPairwise方式の両方式の組み合わせ生成をサポートした日本国内では事実上唯一のフリーでオープンソースなテストツールです。今回はこのPictMasterを使用した場合の直交表方式とPairwise法とのテストケース生成についての比較を行なってみます。

直交表方式とPairwise法との比較は、2012年の３月に一度行なっています。そのときは直交表方式では手作業でテストケースを作成することにしていました。その当時は安価に手に入る直交表ツールが存在していなかったため、直交表方式については手作業とするしかありませんでした。現在ではPictMasterを使用することで直交表ツールによるテストケース作成が可能となっています。

テストケース作成について直交表方式とPairwise法方式との比較を次に示します。

フリーな直交表ツール PictMaster を使用した場合のPairwise法との比較

黄色で塗りつぶした方式の項目が優れていることを意味しています。この比較結果から、手作業ではなくツールを使用することで直交表方式でもPairwise方式と同等となる項目が増えましたがそれでも多くの項目でPairwise方式が優れている結果となりました。

直交表方式が優れている項目は３因子間網羅率と３因子間組み合わせのばらつきでした。実は３因子間網羅率に関してはPairwise方式でもPictMasterの「希望する3-wayカバレッジで生成」の機能を使用することで直交表方式と同等の３因子間網羅率を同程度のテストケース数で生成することができます。ですからこのことを考慮すれば直交表方式が優れている項目は３因子間組み合わせのばらつきのみになります。

直交表方式のツールを作成するまでは、手作業ではなくツールを使用するのだからPairwise方式よりも直交表方式が優れている項目があるのではないかと考えていましたが、実際に比較した結果はPairwise方式が圧倒的に優れており使いやすいという結果となりました。

直交表方式でもPairwise方式よりも例外的に優れている場合があります。それがテストケース数です。モデルの値の数によってはPairwise方式よりも直交表方式のほうがテストケース数が少なくなる場合があるのです。これ以外にも例外的に直交表方式が優れている場合がありそうです。今後調べてみたいと思います。

※ 3月11日表中の３因子間のばらつきで直交表の記述とそれに関連した記述を修正しました。

※ 12月14日ツールの名称をPictMasterOAからPictMasterに修正しました。

PictMasterOA v1.2.2 をリリースしました

64ビット版Excelでの問題を修正した PictMasterOA v1.2.2 をリリースしました。

v1.2.2 での変更点は次の通りです。

【バグ修正】

・64ビット版Excelでクリップボードの処理に誤りがあり、コンパイルエラーとなる問題を修正した。

v1.1.3 以前のPictMasterOAからバージョンアップする場合は、同梱されているファイル oalib も入れ替える必要があります。

PictMasterOA v1.2.2 は次のサイトからダウンロードすることができます。

https://ja.osdn.net/projects/pictmasteroa/

直交表では３パラメータ間の組み合わせが均等に出現するは本当か

直交表の性質として３パラメータ間の組み合わせが均等に出現すると言われています。

PictMasterOAが直交表に対応したのでこのことを検証してみました。まず最初はパラメータの値の数が等しい場合です。この場合のモデルを次に示します。

このモデルで２水準系の直交表で生成を行なうと、L16の直交表で16件の組み合わせが生成されます。この組み合わせをPictMasterOAの分析機能の「組み合わせマトリクスを表示」を実行し、３パラメータ間の組み合わせの状況を表示させたものをわかりやすいように手直しした結果を次に示します。

この表で緑に塗りつぶした組み合わせが出現しているパラメータＡ、Ｂ、Ｃの３パラメータ間の組み合わせです。この結果からどの３パラメータ間の組み合わせでも16件の組み合わせのうち４件の組み合わせが網羅されており、３パラメータ間の組み合わせが均等に出現していることが分かります。これは直交表の性質として広く言われている通りです。

ここでのモデルはすべてのパラメータの値の数が同じ場合でした。実際のテストではすべて同じというケースはほとんどなく、値の数はばらついています。そこで次に示すように値の数がパラメータごとに異なる場合を調べてみました。

このモデルで２水準系の直交表で生成を行なうと、L64の直交表で64件の組み合わせが生成されます。この組み合わせでのパラメータＢ、Ｃ、Ｄの３パラメータ間の組み合わせの状況を表示させたものを次に示します。

この表から、３パラメータ間の組み合わせが出現している件数はパラメータＢの値ごとに、10、11、10、7、7 とばらついていることが分かります。これは２水準系の直交表で値の数が２の倍数でないとダミーの水準が割り当てられることにより、３パラメータ間の組み合わせにばらつきが生じることが関係しています。このことから、直交表で３パラメータ間の組み合わせが均等に出現するのは、値の数がすべて２の倍数の場合のみという条件があることが分かります。

直交表では３パラメータ間の組み合わせが均等に出現することが特長として語られてきましたが、実際のテストではそうした特長が発揮されるのはごく限られることでしょう。