値の数がばらついていると少ないテストケース数で高い3-Wayカバレッジを確保できる
PictMasterでは、希望する3-Wayカバレッジ（3パラメータ間の組み合わせ網羅率）を確保したテストケースを生成することができます。３パラメータ間の組み合わせとするとテストケース数が多くなりすぎて問題となる場合、例えば3-Wayカバレッジを８０％としたテストケースでは、生成されるテストケース数を大幅に削減することが可能となります。
3-Wayカバレッジを８０％程度とすれば、生成されるテストケース数の増加を抑えることができるわけですが、この増加の程度は値の個数のばらつきによってかなりの違いが生じます。値の数がすべて同じ場合、増加の程度は大きくなります。これに対して値の数にばらつきがある場合、増加の程度は小さくなります。この傾向は、実際のテスト現場で扱うモデルには、値の数にばらつきがあることから、テストケース数削減の効果が高くなることを意味します。
最初に値の数がすべて同じモデルで3-Wayカバレッジを変化させた場合のテストケース数を調べてみます。最初のモデルでは、パラメータが１５個あり、値の数はすべて５個とします。このモデルでは、２パラメータ間の組み合わせを網羅したテストケース数は５２件です。３パラメータ間の組み合わせを網羅したテストケース数は３８１件です。
次に値の個数にばらつきがあるモデルを取り上げます。パラメータの個数は最初のモデルと同じ１５個です。値の数と対応するパラメータの数は次の通りです。
１０個 １パラメータ
８個 ２パラメータ
６個 ３パラメータ
４個 ４パラメータ
２個 ５パラメータ
値の個数にばらつきがあるこのモデルでは、２パラメータ間の組み合わせを網羅したテストケース数は９２件、３パラメータ間の組み合わせを網羅したテストケース数は７５６件となりました。
値の数がすべて同じモデルでは、3-Wayカバレッジを８０％とした場合のテストケース数が１５１件となりました。これは２パラメータ間の組み合わせを網羅したテストケース数の２.９倍です。３パラメータ間の組み合わせを網羅したテストケース数の３９.６％にあたります。
値の数がばらついているモデルでは、3-Wayカバレッジを８０％とした場合のテストケース数が２１４件となりました。これは２パラメータ間の組み合わせを網羅したテストケース数の２.３倍であり、３パラメータ間の組み合わせを網羅したテストケース数の２８.３％にあたります。
２つのグラフを比較してみると、3-Wayカバレッジが９０％程度までのテストケース数の増加を示すグラフの傾き具合が、値の数が等しいモデルに比べてばらついているモデルでは緩やかになっていることが見て取れます。
値の数がすべて同じモデルと比較して、値の数がばらついているモデルでは、3-Wayカバレッジを８０％とした場合のテストケース数の増加率が小さく、３パラメータ間の組み合わせを網羅したテストケース数に対する割合もかなり少なくなっています。どうしてこのような違いがでたのでしょうか。
値の数にばらつきがあるということは、多くの値を持つパラメータが存在するということでもあります。少ない値を持つパラメータ同士で３パラメータ間の組み合わせを網羅することにより、少ないテストケース数で８０％程度の高い3-Wayカバレッジを達成することができます。それ以上の高い3-Wayカバレッジを満足するには、多くの値を持つパラメータも含めた３パラメータ間の組み合わせを網羅する必要がでてくるために、その場合のテストケース数は急上昇することになります。
実際のテストの現場では、値の数がすべて同じモデルというものは考えにくく、値の数にはそれなりのばらつきがあるものです。こうしたことから、希望する3-Wayカバレッジを確保したテストケースを生成するPictMasterの新機能は、実際のテスト現場で有効に活用することができることでしょう。
PictMaster 5.1 をリリースしました。
PictMaster 5.1 をリリースしました。
このバージョンでは、特に重要と考えられる任意のパラメータのみ、３パラメータ間の組み合わせとしたテストケースを生成できる「拡張サブモデル」の機能を追加しました。
主な変更点は以下の通りです。
【機能改善】
・希望するパラメータのみ３パラメータ間の組み合わせとしたテストケースを生成する、拡張サブモデルの機能を追加した。
【バグ修正】
・「デフォルトのシードで生成」した際に、PICT内部でエラーを検出した場合に、エラーメッセージが表示されなかったバグを修正した。
・Excel2003以前のExcelで、制約表の列についてショートカットメニューから「左に移動」を選択すると、内容が正しく移動されなかったバグを修正した。
PictMaster 5.1 は以下のサイトからダウンロードすることができます。
http://sourceforge.jp/projects/pictmaster/
１つ以上の希望するパラメータのみ３パラメータ間の組み合わせとしたテストケースを生成する
徹底した組み合わせテストが必要な場合、組み合わせるパラメータ数に３を指定すると、生成されるテストケース数が膨大となり、テストを実施することが困難となる場合があります。
このような場合、すべてのパラメータではなく、特に重要と考えられる特定のパラメータについてのみ、３パラメータの組み合わせとしたテストケースを生成することができれば、テストケース数が大幅に増加してしまうことを回避することができます。
PICTには、指定した特定のパラメータについて、他のパラメータとは異なる組み合わせ数を指定するサブモデルという機能があります。しかし、このサブモデルという機能は実際には使いにくい仕様となっています。
例えば５つの値を持つパラメータが７つ（A, B, C, D, E, F, G）あるモデルの場合、このうちの３つのパラメータ（A, B, C）をPictMasterのサブモデル欄で組み合わせ数に３を指定して生成すると、テストケース数は６２５件となります。サブモデルを使用せずに、環境設定で組み合わせるパラメータ数に３を指定して、生成した場合のテストケース数が２３８件ですから、それよりも３倍近いテストケース数となってしまいます。
どうしてこういう結果になるかというと、サブモデルで組み合わせ数に３を指定したパラメータ同士は、３パラメータ間の組み合わせとなりますが、それらのパラメータのすべてが、サブモデルで指定されなかった残りのパラメータと２パラメータ間の組み合わせとなります。結果としてサブモデルで指定されたパラメータは４パラメータの組み合わせを網羅したものとなるからです。
このPICTの仕様がサブモデルを使いにくくしています。行ないたいのは、サブモデルで指定されたパラメータ同士は３パラメータの組み合わせですが、サブモデルで指定されなかった残りのパラメータとは、個々のパラメータが独立して２パラメータの組み合わせとなることです。これがPICTの仕様では、サブモデルで指定された３つ以上のパラメータからなる１つ１つの組み合わせが、サブモデルで指定されなかった残りのパラメータと２パラメータの組み合わせとなるものですから、生成されたテストケース数は膨大な件数となってしまいます。
PICTのサブモデルのこうした問題を回避して、３つ以上の希望するパラメータのみ３パラメータの組み合わせを生成する方法については、2009年11月15日の記事
で書きました。ここでより詳しく手順を示します。
１．３パラメータの組み合わせとしたい３つ以上のパラメータについてサブモデルで３パラメータの組み合わせを指定します。同時に環境設定で組み合わせるパラメータ数に１を指定します。
２．以上の条件でテストケースを生成します。このときのテストケース数を控えておきます。
３．生成されたテストケースを原型シートのワークシートに貼り付けます。
４．環境設定で組み合わせるパラメータ数に２を指定します。そして原型シートを使用する設定とします。同時にサブモデルを使用しない設定とします。
５．以上の条件でテストケースを生成します。このときのテストケース数が２項でのテストケース数より多いことを確認します。
６．前項２でのテストケース数を下回っている場合は、最も値の数が少ないパラメータの任意の値と同じ値を１つだけモデルに追加して、再度テストケースを生成します。
５項で生成されたテストケース数が、２項でのテストケース数以上であれば手順は完了です。２項でのテストケース数を下回っている場合は、３パラメータの組み合わせの一部が欠落していることになります。この現象は、原型シートに貼り付けた３パラメータの組み合わせすべてを取り込まなくても、２パラメータ間のすべての組み合わせが網羅される場合に発生します。こうなったときは、最も値の数が少ないパラメータの任意の値と同じ値を１つだけモデルに追加して、再度組み合わせを生成すると、原型シートに貼り付けた３パラメータの組み合わせが、すべて取り込まれてテストケースが生成されます。値を追加するパラメータとして最も値の数が少ないパラメータを選択するのは、テストケース数の増加を抑えるためです。この場合のテストケース数は、原型シートのテストケース数に最も値の数が多いパラメータの値の数を加えた件数となります。
１項から６項の手順によるサブモデルの使い方を「拡張サブモデル」と呼ぶことにします。
原型シートに貼り付けるための組み合わせを生成した時のモデルと、原型シートを使用して組み合わせを生成した時のモデルに違いがあると、原型シートに貼り付けた組み合わせすべてが取り込まれてテストケースが生成されるようになります。これはPICTの仕様と考えられます。
図１に示すモデルとサブモデルを用いて通常の方法で生成したテストケースを図２に、拡張サブモデルで生成したテストケースを図３に示します。図２と図３では、Excelのフィルタを使って、サブモデルで指定したパラメータのうち、３つのパラメータの特定の値の組み合わせだけを抽出しています。同時に生成したテストケース数も示します。
生成されたテストケース数：７３５
生成されたテストケース数：１５２
環境設定で組み合わせるパラメータ数に３を指定して生成したテストケース数は２３９件でした。
通常のサブモデルでは、サブモデルで指定した３つのパラメータの組み合わせが、サブモデルで指定されなかったパラメータのすべての値と組み合わされています。一方、拡張サブモデルでは、サブモデルで指定した３つのパラメータの組み合わせは、サブモデルで指定されなかったパラメータの１つの値としか組み合わされていません。このモデルの場合、通常のサブモデルに対して拡張サブモデルでのテストケース数は約１／５となっています。
次に、２つのパラメータ（A, B）のみ３パラメータの組み合わせとするには、サブモデルで次のように指定します。
A, B, 2 --- （１）
このときのテストケース数は１２６件となりました。
１つのパラメータ（A）のみ３パラメータの組み合わせとするには、サブモデルで次のように指定します。
B, C, D, E, F, G, 2 --- （２）
このときのテストケース数は１７５件となりました。
このように、３パラメータの組み合わせとしたいパラメータを除く残りのすべてのパラメータについて、サブモデルで組み合わせるパラメータ数に２を指定します。
（２）のテストケース数が（１）のテストケース数よりも多くなるのは、３パラメータ組み合わせのパターンに違いがあるからです。（１）では、サブモデルで指定された２つのパラメータのペア（２５件）が、サブモデルで指定されなかったパラメータの１つ１つ（５件）と組み合わされ、３パラメータの組み合わせとなります。これに対して、（２）では、サブモデルで指定されなかったパラメータ（５件）が、サブモデルで指定されたすべてのパラメータの２パラメータの組み合わせ（３５件）と組み合わされ、３パラメータの組み合わせとなります。
拡張サブモデルでは、（１）と（２）のサブモデルの記述は次のように直感的に分かりやすく記述することができます。
A, B, 3 --- （１）
A, 3 --- （２）
（２）の指定では、組み合わせるパラメータ数に３を指定して生成を行なうと、PICTのエラーとなるため、3-Wayカバレッジの表示はできません。この指定はテストケース数の割に3-Wayカバレッジは高くないので使わないほうがよいと思います。よりテストケース数が少なく、3-Wayカバレッジが高い（１）の方法を推奨します。
まもなくリリース予定の PictMaster 5.1 では、拡張サブモデルの機能をサポートし、前項１から６の作業をPictMaster内部で行ない、ユーザはサブモデル欄に記述するだけで済むようになります。また、直感的に分かりやすい（１）と（２）の記述方法をサポートしています。
PICTでエラーを検出した場合にエラーメッセージが表示されない
現状のPictMasterでは、「デフォルトのシードで生成」を選択して実行したとき、PICT内部でエラーを検出した場合に、エラーメッセージが表示されず、正しくない生成結果が出力されるバグがあります。
「最小テストケースを生成」を選択して実行したときは、正しくエラーメッセージが表示されます。
このバグは、次回のバージョンアップ時に修正する予定です。
Office2010でPictMasterを実行するとVBAのエラーとなる現象について
11月28日の記事で、PictMaster 5.0 を Excel2010 で実行すると、VBAのエラーになると書きましたが、その後で調査したところ、原因は Office2010 のバグであることが分かりました。
Microsoftのサポートページに次の記述がありました。
Office 2007 以前のバージョンから Office 2010 へアップグレード インストールした場合、UserForm 上の Common コントロールを表示できない
http://support.microsoft.com/kb/2266789/ja
この記述によれば、Office2010 をアップグレードインストールした場合、コントロールの登録情報が不正になるために、プログレスバーコントロールを含むいくつかのコントロールオブジェクトが表示できなくなるとのことです。64bit版だけではなく、32bit版でも同じだそうです。新規インストールの場合は問題ないとのことです。
サポートページには、バグの回避策としてコマンドプロンプトからコマンドを投入する方法が説明されています。
このバグが、現在販売されている製品で直っているのか、また Microsoft Update で修正されるものなのかは不明です。