組み合わせテストケース生成ツール 「PictMaster」 とソフトウェアテストの話題 -9ページ目

PictMaster 6.4.6Jをリリースしました

軽微なバグを修正したPictMaster 6.4.6J をリリースしました。

このバージョンでの変更点は次の通りです。

【バグ修正】
・制約表で制約6の列のフォントサイズの誤りを修正した。
・環境設定で「組み合わせるパラメータ数」のフォントサイズの誤りを修正した。


PictMaster 6.4.6J は次のサイトからダウンロードすることができます。

https://osdn.jp/projects/pictmaster/

CIT-BACH 1.10を同梱したPictMaster 6.4.5Jをリリースしました

CIT-BACH 1.10を同梱したPictMaster 6.4.5J をリリースしました。

このバージョンでの変更点は次の通りです。

【機能改善】
・CIT-BACHがv1.10にバージョンアップされたことにともない、CIT-BACHの新機能である数値の大小比較に対応した。

同梱されている cit.jar のファイルをPICTがインストールされているフォルダ内にコピーしてご使用ください。


PictMaster 6.4.5J は次のサイトからダウンロードすることができます。

https://osdn.jp/projects/pictmaster/

Pairwise法と直交表のテストケース数と3因子間網羅率を比較する

直交表ベースの組み合わせテストではPairwise法と比較してテストケース数は多くなるが、3因子間網羅率(3-Wayカバレッジ)が高くなると言われています。そこで実際にパラメータ数と水準数を変化させた場合の比較を行なってみました。比較はパラメータ数を固定して水準数を変化させた場合と、水準数を固定してパラメータ数を変化させた場合の2種類について行ないました。

最初はパラメータ数を固定して水準数を変化させた場合です。パラメータ数は8で固定しています。水準数を2から16まで変化させた場合のテストケース数と3-Wayカバレッジを測定しました。

水準数を変化させた場合の直交表とPairwise法のテストケース数と3-Wayカバレッジの変化

1


次に水準数を固定してパラメータ数を変化させた場合です。水準数は6で固定しています。なぜ8水準ではなく6水準かというと、8水準では直交表にとって最適な水準数になるからです。8水準はL64直交表にぴったりマッチする水準です。直交表ベースでは最もテストケース数が少なくなる理想的な水準です。実際のテスト作業では、理想的な水準だけでテストされる訳ではないので、ここでの水準数は4水準と8水準の中間となる6水準を用いています。パラメータ数を3から20まで変化させた場合のテストケース数と3-Wayカバレッジを測定しました。

パラメータ数を変化させた場合の直交表とPairwise法のテストケース数と3-Wayカバレッジの変化

2


表だけでは分かりにくいのでグラフ化しました。まずパラメータ数を固定して水準数を変化させた場合です。

3



4


テストケース数は、Pairwise法では段々と連続的に増加しています。直交表では8水準から9水準に変わった時点で64件から256件に大きく増加しています。Pairwise法の方が多い水準数もありますが、全体でみると直交表の方が多くなっています。

3-Wayカバレッジは、双方にそれほど大きな違いは出ていませんが、全体では直交表の方が多くの場合Pairwise法よりも多いという結果となっています。

次に水準数を固定してパラメータ数を変化させた場合です。

5



6


この比較ではPairwise法と直交表で大きな違いが出ました。Pairwise法ではパラメータ数が増えてもテストケース数はあまり増加しません。直交表ではテストケース数が64→128→256と2のべき乗で不連続に増加しています。全体として直交表でのテストケース数はPairwise法よりも2~3倍も多くなっています。特に直交表でパラメータ数が多くなるとテストケース数が倍々に増加することが大きく影響しています。

3-Wayカバレッジはパラメータ数が9個までは双方に大きな違いは出ませんが、10個以上になると2倍程度直交表の方が多い結果となっています。これはテストケース数がそれだけ増加したためであることが見て取れます。

直交表ベースの組み合わせテストではPairwise法と比較してテストケース数は多くなるとは言っても、多くなる程度が問題です。この比較では、2~3倍もの違いが出ています。これだけテストケース数が多くなっても直交表を使いたいという理由は、3パラメータ間の組み合わせが均等に出現する、ということだけであるように思われます。3-Wayカバレッジが高いのはテストケース数が大幅に多くなったので当然です。これだけを重視するのであれば、PictMasterの「カバレッジを指定して生成」の機能で実現可能です。

PictMaster 6.4.4J をリリースしました

PictMaster 6.4.4J をリリースしました。

このバージョンでの変更点は次の通りです。

【バグ修正】
・PictMasterを、Cドライブ以外のUSBメモリなどに割り当てられる Fドライブなどに置いて、生成エンジンCIT-BACHで生成を行なうと、エラーとなるバグを修正した。
(v6.0のバグ)

【その他】
・PictMasterで多数のワークシートを設けた場合にExcelのファイルサイズが大きくなりすぎて扱いにくくなることを回避するために、制約欄を100個から50個に、結果表の行数を100行から50行に変更した。


PictMaster 6.4.4J は次のサイトからダウンロードすることができます。

https://osdn.jp/projects/pictmaster/

PictMasterをCドライブ以外のドライブに置きCIT-BACHで生成を行なうとエラーとなる

現行のPictMasterを、Cドライブ以外のUSBメモリなどに割り当てられる Fドライブなどに置いて、生成エンジンCIT-BACHで生成を行なうと、エラーとなるバグがあります。これは V6.0 からのバグです。現行のPictMasterに次の修正を加えることで正常に生成が完了するようになります。

1. Excelのオプションで「開発」メニューを表示させる。
2. 「開発」→「Visual Basic」で左端に表示される「標準モジュール」内の「テストケース生成」をダブルクリックする。
3. モジュール「CIT実行」のコードを次のように修正する
モジュール CIT実行( ) 内の、7行目の次の記述を
 s = "bat1.bat "
    ↓
 s = strPath & "bat1.bat "
に修正して保存する。
この修正により、Cドライブ以外の別ドライブにPictMasterを置いた場合に、生成エンジンが CIT-BACHでも正常に生成が完了するようになります。
修正版は別途リリースしますが、リリース予定日はまだ決まっていません。


※ 4月10日 追記 上の方法ではCドライブで動作させた場合に生成できなくなる問題があるため、記述を削除しました。

修正版はまもなくリリースします。