Pairwise法（All-Pairs法）の３因子間網羅率を求める
Excelの機能である「ピポッドテーブル」を用いると、生成したテストケースの３因子間網羅率を簡単に求めることができます。ピポッドテーブルの使い方についてはネット上にたくさん説明がありますのでそちらを参照してもらうこととして、この記事ではピポッドテーブルを用いた３因子間網羅率の求め方を説明します。
パラメータが５個、各パラメータが５個の値を持つ図１のモデルで生成したテストケースを表１に示します。モデルの値はピポッドテーブルの仕様の関係から、数値ではなく文字である必要があります。
表１のテストケースをもとにピポッドテーブルを作成するとそれは表２のようになります。
このピポッドテーブルは次のような構成となっています。
パラメータAの列が値v1～v5までの行からなり、パラメータBの行が値v1～v5までの列から構成されています。さらにパラメータAの列は、パラメータC、DおよびEのデータの個数という行に細分化されています。この表の意味は次の通りです。
生成されたテストケースにおいて、パラメータAの値v1とパラメータBの値v1の組み合わせで、パラメータCの値との組み合わせが１つ存在します。同様にパラメータDおよびEについても１つづつ存在します。次にパラメータAの値v1とパラメータBの値v2との組み合わせでは、パラメータC、DおよびEの値との組み合わせが２つづ存在します。
このテストケースで３因子間網羅率が１００％となるためには、少なくともパラメータAとパラメータBとの特定の値の組み合わせに対して、パラメータC、DおよびEの値との組み合わせがそれぞれ５つ以上存在する必要があります。今回の例では、列方向にパラメータA、行方向にパラメータB、パラメータAの各値に対してパラメータC、DおよびEを組み合わせていますが、これ以外の組み合わせ方法でも同じ結果となります。
３因子間網羅率が１００％である場合、ピポッドテーブルの各欄には５が入り、右端の総計の欄には５×５＝２５が入ります。そして表下部の「全体のデータの個数」の各パラメータの欄にはそれぞれ２５が入り、右端の欄には２５×５＝１２５が入ることになります。実際には、各欄に５だけが入ることはなく、６以上の値が入る欄も出てきます。
このテストケースから作成したピポッドテーブルでは、１２５ではなく３２が入っています。このことから、このテストケースの３因子間網羅率は、３２÷１２５＝０．２５６で約２６％ということになります。厳密に言うと、各欄の値には同じ値がダブっている場合もあり、実際の３因子間網羅率はこれより若干少ない値となります。
このピポッドテーブルをグラフ化することもできます。このグラフは、３因子間の組み合わせ数がパラメータごとにどの程度ばらついているかを視覚的に分かりやすく表現しています。図２にそのグラフを示します。
パラメータ数を５個に固定し、値の数を２個から８個まで変化させた場合の３因子間網羅率の値を表３に、表をグラフ化したものを図３に示します。パラメータと値の組み合わせによって３因子間の組み合わせ数にばらつきの出ていることが分かります。
このグラフから分かることは、値の個数が増えるに従って最初は急激に３因子間網羅率が減少していますが、ある程度まで値の数が増えると３因子間網羅率は２０％程度で減少率が低下しているということです。これはPairwise法（All-Pairs法）が２因子間網羅率を１００％満足し、かつテストケース数の最少化に専念しているためであり、３因子間網羅率の減少と引き替えにテストケース数の最少化を実現しているということが言えます。
スタート地点からゴール地点までの最短経路を求める 【2010年6月29日】
以前の記事で、PictMasterの応用事例として、道路網の最短経路を求める、という問題を扱ったことがあります。今回は、PictMaster 4.2 で結果表の機能が強化されたので、道路網の距離を結果表を用いて自動的に求めるようにした問題を紹介してみたいと思います。
この問題のルールは以下の通りです。
道路網の北西のスタート地点から南東のゴール地点までの最短経路をPictMasterを使って求めます。道路網は東西南北にそれぞれ４本の道路があり、交差点間の距離はランダムに異なるものとします。
スタート地点からゴール地点までの最短経路を求めるには、通過可能なすべてのルートを洗い出す必要があります。洗い出したルートは、全体としてすべての交差点、Ｔ字路をもれなく通り、かつ通行可能な方向すべてに向けて通過している必要があります。
道路網には多くの交差点やＴ字路があり、各交差点間の距離は２から８までの間でランダムに与えられています。１つだけ制限事項を設けます。道路の迂回はできないものとします。つまりスタート地点に戻る方向へは進めないものとします。
このような道路網の最短経路を求めることは、ソフトウェアの単体テストの技法の１つである制御パステストにおける「経路網羅」をカバーすることと同じことを意味します。
今回取り上げる道路網を図１に示します。
道路網の交差点とＴ字路にはＡからCと数字をあわせた記号をつけて識別します。道路の脇にある１桁の数字は距離を表しています。道路の迂回ができないということは、例えばB2の地点で進める方向はB3またはC2に限定されるということです。
最短経路のルートを求めるには通れるすべてのルートを探し出す必要があります。その結果見つかったルートの集まりは、すべての交差点、T字路をもれなく通ることになります。通れるすべてのルートを探し出す手段は、通行可能なすべてのルートを洗い出す必要があるため、Pairwise法ではなく、全数組み合わせを用いる必要があります。今回の問題では組み合わせるパラメータ数にSTARTとGOALを含む１０個を指定することになります。今回は全数組み合わせですので、生成結果は１通りしかありません。生成回数は１回で十分です。
この道路網は、９個の分岐文のみからなる図２のフローチャートで表すことができます。
図２．道路網を表すフローチャート
それではこの道路網を通るすべてのルートを求めるためのモデルと制約表を以下に示します。制約表の記述は、例によって制約対象が次の制約で制約条件となる、という単純なルールで機械的に行なうことができます。
以上のモデルと制約表で、組み合わせるパラメータ数に１０を指定して組み合わせを生成することで、道路網を通行可能なすべてのルートが求められます。
今回は、各ルートの距離を結果表を用いて自動的に集計してみることにします。各ルートの単位距離（道路網の１辺の距離）を以下の結果表で指定し、期待する結果として、各ルートごとに単位距離の合計式を求めるようにしています。この処理はPictMaster 4.2から可能となりました。
図５．各ルートごとの距離の合計を求める結果表
以上の結果から、表１のNo.5が距離２１で最短経路であることが分かりました。このルートを赤字の点線で示した道路網を以下に示します。
生成結果の期待する結果には合計距離の計算式が示されています。変数の内容を評価することができれば、計算結果を最終の期待する結果とすることができるのですが、VBAでは無理でした。
今回は、PictMaster 4.2で追加された結果表の新機能を用いて道路網の合計距離の計算式を自動的に求めることが可能であることを示したものです。この新機能は、実際のテストケース作成においても有効に使うことができるものと思います。
間違いやすい制約指定の例
PictMasterの制約表で制約指定を行なう際、間違いやすい制約指定というものがあります。 今、図１に示すモデルにおいて、制約１で指定されなかった組み合わせのすべてについて、制約２で値 c1 以外とのみ組み合わせ可能と指定したとします。
この制約指定で生成された組み合わせを表１に示します。
この組み合わせ結果をみると、制約１で指定されなかった組み合わせであるにもかかわらず、値 c1 との組み合わせが含まれています。 理由は、制約２の指定の意味が、値 a1 でなく、かつ、値 b1 でもない場合のみ、値 c1 以外との組み合わせとなる、というものだからです。 もともとの意図は、制約１で指定されなかった組み合わせのすべてを、値 c1 以外とするというものでした。
正しい制約指定を図２に示します。
この制約指定で生成された組み合わせを表２に示します。
一見すると、図１の制約指定でよいように思われますが、AND条件に一致しなかったすべての組み合わせはOR条件で指定する必要があるということです。 制約表は、他の制約指定の方法（例えばPICTの制約式など）に比べて制約指定が直感的に分かりやすいというメリットがありますが、今回の例のようにうっかり間違った制約指定を行なってしまうことがありそうです。
念のため、私が関係しているチームで、これまで作成した制約表の記述をチェックしてみましたが、１つの制約指定で制約条件が２つ以上ある制約表はありませんでした。 制約対象が２つ以上あるものはたくさんありましたが。
テスト対象の違いによって他の分野ではまた状況が違うかもしれません。 一度チェックされてみてはいかがでしょうか。
PictMaster v4.2 をリリースしました。
4.1 からの変更点は以下の通りです。
【機能改善】
・結果表の結果内容が、１つのテストケースにおいて異なる内容で重複して一致条件に一致した場合、それぞれの結果内容を連結して新たな結果
内容として記入されるように指定可能とした。
・制約表の制約の列で、ショートカットメニューからの挿入、削除、元に戻す 編集機能を、色の塗りつぶしが行なわれているが値がないセル
（制約表の右側に位置するセル）に対しても有効とした。
【バグ修正】
・Excel2000の場合に、環境設定フォームで「セル書式は文字列」をチェックして生成を行なうとVBAのエラーとなる問題を修正した。
PictMaster 4.2 は以下のサイトからダウンロードすることができます。
http://sourceforge.jp/projects/pictmaster/
国内と全世界におけるAll-Pairs法と直交表への関心度を比較 【6月18日更新】
2008年12月8日の記事 で、「日本人はなぜ直交表により興味を抱くのか？」と題して、ソフトウェアテストに関する国内と全世界におけるAll-Pairs法と直交表への関心度をgoogleの検索ヒット数で比較してみました。そのときのヒット数を以下に再掲します。
2008年末時点でのデータ
国内（日本語）での各用語のGoogleヒット件数
"直交表" ソフト テスト 10,500件
"HAYST法" 10,100件
----------------------------------
合計： 20,600件
比率： 98.9%
"All-Pair法" 72件
"All-Pairs法" 9件
"オールペア法" 88件
"Pairwaise法" 30件
"ペアワイズ法" 40件
-----------------------------------
合計： 239件
比率： 1.1%
全世界（すべての言語）での各用語のGoogleヒット件数 （厳密に言えば英語圏に限定しています）
Orthogonal Software test 187,000件（直交表）
----------------------------------
合計： 187,000件
比率： 46.6%
"All-Pairs" software test 33,900件
Pairwise software test 180,000件
-----------------------------------
合計： 213,900件
比率： 53.4%
この結果から、国内においてはAll-Pairs法よりも直交表への関心が圧倒的に高かったことが分かります。一方、全世界では、All-Pairs（Pairwise）法への関心がわずかに直交表を上回っているという結果でした。
あれから約１年半が経過しましたが、今の時点でどのように関心度が変化しているか調べてみました。検索語句は全く同じものを使用しています。今の時点での結果は以下の通りです。
2010年6月時点でのデータ
国内（日本語）での各用語のGoogleヒット件数
"直交表" ソフト テスト 40,000件
"HAYST法" 20,800件
----------------------------------
合計： 60,800件
比率： 74.1%
"All-Pair法" 16,200件
"All-Pairs法" 54件
"オールペア法" 4,930件
"Pairwaise法" 37件
"ペアワイズ法" 75件
-----------------------------------
合計： 21,296件
比率： 25.9%
全世界（すべての言語）での各用語のGoogleヒット件数
Orthogonal Software test 208,000件（直交表）
----------------------------------
合計： 208,000件
比率： 43.6%
"All-Pairs" software test 54,200件
Pairwise software test 215,000件
-----------------------------------
合計： 269,200件
比率： 56.4%
国内の調査結果を見ると、All-Pairs関係のページが１年半まえの前回調査時点より、約２５倍に激増していることが目に付きます。その結果、直交表関係のページを含めた全体に対する割合は、前回の１．１％から約２６％までに増加しています。このことはここ１年半でAll-Pairs法に対する関心が非常に高まったことを物語っています。
なお、"HAYST法"は同時に直交表というキーワードも同じWebページに存在する可能性が高いと考えられるため、それを考慮した集計方法をとれば、直交表（HAYST法含む）関係のヒット件数を40,000件として計算すると、直交表関係は65.3%、All-Pairs関係は34.7%となります。
全世界で調べて見た結果ではAll-Pairs関係のページが前回調査時より、若干増加しています。その結果、全世界では関心の約５６％がAll-Pairs法関係で占められていることになります。
これは推測ですが、全世界での傾向に少し遅れて国内も同様な結果（All-Pairs関係への関心の高まり）になると思われます。その理由として考えられるのが、実用的な直交表ベースでのツールは事実上公開されることがなく、対してAll-Pairs法の実用的なツール（PICTなど）が無償で公開されているということです。