各因子の水準数がばらついていると３因子網羅率は向上する
前回は各因子の水準数が等しい場合を取り上げました。今回は各因子の水準数がばらついている場合を取り上げます。各因子の水準数がばらついていると、テストケース数は最も多い水準数と次に多い水準数をかけた数になる場合が多い傾向となります。この結果、水準数の少ない因子同士の３因子網羅率は１００％に近づくことになります。
最初の取り上げる例は、因子数が５、各因子の水準数は７，５，３，３，３です。テストケース数は３５件です。この表で、３因子の組み合わせとは５因子で可能な任意の３因子の組み合わせをすべて書き出したものです。組み合わせ数とは３因子の組み合わせで取りうる各水準同士の可能な組み合わせの合計数です。
合計と平均は、組み合わせ数の合計とこのモデル全体での３因子網羅率を表しています。各３因子の組み合わせの３因子網羅率はExcelのピポッドテーブルにより求めたものです。
全体に対する３因子網羅率の割合とは、各３因子の組み合わせ網羅率がこのモデル全体の３因子網羅率のうちの何パーセントを占めているかを表しています。この値は、組み合わせ数÷合計組み合わせ数×３因子網羅率で求めたものです。例えば、３因子の組み合わせが A、B、C の場合、組み合わせ数は１０５です。組み合わせ数の合計は６６６なので１０５÷６６６＝０．１５８となり、これに３因子網羅率３３％をかけると５．２％となります。これをすべての３因子の組み合わせに対して求め、その合計がこのモデルでの平均の３因子網羅率となります。平均というのは各３因子の組み合わせで３因子網羅率が異なるためです。各３因子の水準数が異なればそれぞれの３因子網羅率も異なることになります。
このモデルの平均３因子網羅率は４３％となりました。因子A、Bを含む３因子網羅率は３３％と少ないですが、水準数が３の因子C、D、Eの３因子網羅率は７４％と多くなっています。テストケース数が３５件ですから水準数が３の因子が３つであれば組み合わせ数が３×３×３＝２７なので、３因子網羅率は１００％となってもよいはずですが、３因子の組み合わせで同じ組み合わせが含まれるため１００％とはなりません。
次によりばらつきが大きい例を示します。因子数が同じ５、各因子の水準数は７，５，２，２，２です。テストケース数は同じ３５件です。
このモデルでは平均の３因子網羅率が６４％となりました。各３因子の組み合わせの３因子網羅率がすべて最初の例を上回っています。このように各因子の水準数の最大と最小の差が大きければ３因子網羅率は向上することになります。また水準数が少ない因子については、平均の３因子網羅率よりもかなり多い３因子網羅率になることが見てとれます。
これまでモデル全体の平均３因子網羅率についてはさかんに取り上げられてきましたが、水準数が異なる因子の組み合わせで、異なる因子の組み合わせ別の３因子網羅率については取り上げられることがなかったように思います。
各因子の水準数が等しいと３因子間網羅率は最も少ない
Pairwise法（All-Pair法）における３因子間網羅率は、各因子の水準数の違いにより大きく異なります。各因子の水準数が等しい場合、３因子間網羅率は最も少なくなります。Pairwise法（All-Pair法）では、生成されるテストケース数が最も少なくなるように組み合わせを生成します。そのために２因子間網羅率は１００％となりますが、３因子間網羅率はどうしても少なくなる傾向になります。３因子間網羅率が多くなるためには生成されるテストケース数がより多くなければなりません。
例として５因子５水準での３因子の組み合わせと、３因子間網羅率を次に示します。この例ではテストケース数は３２となりました。
３因子の組み合わせの違いには関係なくいずれの組み合わせでも３因子間網羅率は２５％です。もしもこのテストケース数が２因子の組み合わせ数 ５×５＝２５ となるならば、そのときの３因子間網羅率は １／５＝２０％となります。しかし、このモデルではテストケース数を２５に収めることは不可能であるため、３２件となり、テストケース数が増加した分だけ３因子間網羅率が２０％から２５％に増加しています。
次にもう一つ例を上げましょう。５因子３水準の例です。この例ではテストケース数は１２件となりました。
この例では３因子間網羅率は４４％となりました。当然のことですが水準数が多い組み合わせより、水準数が少ない組み合わせの３因子間網羅率は増加することになります。この例では、テストケース数が２因子の組み合わせ数 ３×３＝９であるならば、そのときの３因子間網羅率は １／３＝３３％となります。しかし９件に収めることは不可能なため、１２件となり、テストケース数が増加した分だけ３因子間網羅率が３３％から４４％に増加しています。
３因子の組み合わせのばらつきはどうでしょうか。５因子５水準でのExcelのピポッドテーブルの例を次に示します。
このテーブルの右上と下の「総計」の数字が、３因子の各水準の組み合わせ出現数を意味しています。それぞれ、６，７，７，６，６ と ７，６，６，８，５ とばらついています。３因子の各水準の組み合わせ出現数の平均は右上と下ともに６．４となります。３因子の組み合わせの出現の表が５×５×５＝１２５の升目で示されています。「１」がある組み合わせが３因子の組み合わせが網羅されていることを表しています。この表をみると、３因子の特定の組み合わせとは無関係に３因子間網羅は、ほぼランダムであるように見えます。
Pairwise法（All-Pair法）では、すべての因子の水準数が等しい場合、３因子間網羅率が最も低下します。逆にいえば、各因子の水準数が異なる場合、３因子間網羅率は向上することになります。
なお、ここで示した結果は一例であり、PICTが採用しているヒューリスティック手法というアルゴリズムの性質により、同じ条件でテストケースを生成しても、同じ結果になるとは限りません。また、３因子間網羅率はおおよその値です。
直交表とPairwise法（All-Pair法）の３因子間網羅率を比較する 【11月5日更新】
組み合わせテストの方式にはよく知られているように、直交表を利用するものとPairwise法（All-Pair法）を利用するものがあります。これから数回に分けて、直交表と比較するかたちでPairwise法（All-Pair法）の３因子間網羅率の特徴について調べてみたいと思います。Pairwise法（All-Pair法）には多くのアルゴリズムがあります。アルゴリズムの違いによって生成されるテストケースに違いが出ますが、３因子間網羅率に関してはその違いはそれほど大きなものではないと考えられます。ここではPICTで採用しているヒューリスティック法を用いることにします。Pairwise法（All-Pair法）でのテストケース生成はPICT（PictMaster）を利用します。
Pairwise法（All-Pair法）に比べて、直交表が３因子間網羅率の高い組み合わせとなることはよく知られています。では実際に具体的なモデルを用いてどのような違いがあるのか調べてみましょう。なお、直交表方式とPairwise法（All-Pair法）では、使用する用語に違いがあるので、このテーマでは直交表で用いられている用語で統一することにします。
最初に取り上げるモデルは、２水準の因子が７つあるものとします。この直交表をL8(27)と表記します。この場合、直交表の組み合わせは表１(*1)の通りとなります。テストケース数は８件です。一方、Pairwise法（All-Pair法）で生成される組み合わせは表２の通りとなります。テストケース数は６件です。一般的にPairwise法（All-Pair法）は直交表方式よりも生成されるテストケース数が少なくなると言われています。
表１．L8(27)の直交表
表２．Pairwise法（All-Pair法）による２水準７因子の生成結果
次に生成されたテストケースの３因子間網羅率を比較してみましょう。Excelのピポッドテーブルの機能を使うことで簡単に３因子網羅率を求めることができます。ピポッドテーブルの使い方はWeb上にたくさんありますからそれを参考にしてください。重要な点として、組み合わせ結果に新しい列としてすべての値が１のDATA列を追加する必要があります。
直交表での３因子間網羅率は１００％となりました。Pairwise法（All-Pair法）では７５％という結果となりました。
次に３因子間網羅での組み合わせのばらつき度合いを調べることにします。Excelのピポッドテーブルで直交表とPairwise法（All-Pair法）の組み合わせを表した結果を表３と表４に示します。
表３．直交表の組み合わせのピポッドテーブル
表４．Pairwise法（All-Pair法）の組み合わせのピポッドテーブル
ピポッドテーブルの見方は次の通りです。行ラベルは因子１と３の水準組み合わせであり、列ラベルは因子５の水準です。この表だけではどの因子の組み合わせであるかわ分かりませんが、ピポッドテーブルのフィールドリストというリストを用いて因子の組み合わせを選択します。この表の行と列で構成される組み合わせは、２水準の因子が３つですから、２×２×２×＝８個となります。直交表の表３では８個の組み合わせがすべて網羅されていることが分かります。Pairwise法（All-Pair法）の表４では６個の組み合わせであり、このことから３因子間網羅率は、６÷８＝７５％となります。ピポッドテーブルでどんな３つの因子を選んでも、３因子間網羅率は基本的に同じになるという性質があります。注意点として、Pairwise法（All-Pair法）では３つの因子の選び方によって同じ組み合わせが２つ以上生じる場合があります。この場合は、重複した組み合わせ数を全体の組み合わせ数から減算する必要があります。
これまでの結果から、少なくともこのモデルでは、Pairwise法（All-Pair法）がより少ないテストケースを生成するが３因子間網羅率は少なく、直交表方式ではテストケース数は多くなるが３因子間網羅率が１００％のテストケースとなる、ということが言えます。また直交表では、３因子間の組み合わせが因子の違いにかかわらず水準間で同じ網羅度になりますが、Pairwise法（All-Pair法）では、異なる因子の組み合わせでは水準間での組み合わせ網羅度にばらつきがでることが分かります。
ここまでは、直交表とPairwise法（All-Pair法）について一般的に言われていることと同じ結果となりました。こんどは別のモデルを用いてみましょう。２水準の因子が１個、４水準の因子が９個あるモデルとします。直交表L32(21×49)という表(*2)を用いることにします。直交表の組み合わせとPairwise法（All-Pair法）の生成結果を表５と表６に示します。
表５．L32(21×49)の直交表
表６．Pairwise法（All-Pair法）による２水準１因子４水準９因子の生成結果
テストケース数は直交表では３２件、Pairwise法（All-Pair法）では２８件となりました。３因子間網羅率には水準数の違う因子を含めた場合と含めない場合で違いがあります。それぞれの組み合わせでの３因子間網羅率を表７に示します。
表７．組み合わせる水準の違いによる３因子間網羅率
直交表では２水準の因子を１つ含む３因子間網羅率が１００％となります。Pairwise法（All-Pair法）では６６％です。Pairwise法（All-Pair法）では、３因子の組み合わせによっては同じ組み合わせが２つ以上含まれることがあります。この重複した３因子の組み合わせはそのうちの１つの組み合わせのみを網羅率のカウントに含める必要があります。４水準のみの３因子間網羅率は直交表とPairwise法（All-Pair法）とでそれほど大きな違いはありません。平均の３因子間網羅率では直交表が５４％、Pairwise法（All-Pair法）が４５％という結果です。
これまでの例からは、直交表とPairwise法（All-Pair法）の３因子間網羅率の性質として次のことが言えるでしょう。
・Pairwise法（All-Pair法）よりも直交表の３因子間網羅率が高い。
・Pairwise法（All-Pair法）では３因子間網羅の組み合わせに水準によってばらつきがあるが、直交表ではばらつきがない。
・テストケース数はPairwise法（All-Pair法）が直交表より少ない。
いずれもこれまでに言われてきたことと同じ結果となりました。ただこの結果は、こうした結果となるモデルを選択したからだ、と言うこともできます。直交表ではモデルの因子数と水準数にできるだけ合う直交表を選択し、それにモデルを当てはめるという作業を行う必要があります。ここでモデルにぴったり当てはまる直交表が存在する場合、そのときのテストケース数はPairwise法（All-Pair法）で生成されるテストケース数よりもかなり少なくなります。
例えば、４水準の因子が５個ある L16(45)の直交表のテストケース数は１６件です。これに対してPairwise法（All-Pair法）で生成されるテストケース数は２１件です。３因子間網羅率は直交表では２５％であるのに対し、Pairwise法（All-Pair法）では３３％です。直交表ではモデルにぴったり合う表の場合、任意の２つの因子間の組み合わせで同じ組み合わせは１つしか存在しません。直交表の３因子間網羅率が高いと言われるのは、２つ以上同じ組み合わせが存在することが理由ですが、モデルにぴったり一致する直交表ではそうしたことが当てはまりません。テストケース数がPairwise法（All-Pair法）よりも少なくなるために、結果として３因子間網羅率はPairwise法（All-Pair法）よりも少なくなります。
また、因子ごとの水準数に大きな違いがあるモデルの場合、Pairwise法（All-Pair法）での３因子間網羅率は１００％になります。生成されるテストケース数もPairwise法（All-Pair法）がより少ない結果となります。
これまで直交表とPairwise法（All-Pair法）の３因子間網羅率の違いとして言われてきたことは間違いではありませんが、それですべてを説明するという一般化はできないということです。どのようなモデルを扱うかによって結果が逆になることもあります。次回以降ではPairwise法（All-Pair法）での３因子間網羅率の特性を調べていきます。
*1: 出典 田口玄一、小西省三 「直交表による実験の割り付け方」 日科技連出版社 1959年 附表 p.2
*2: 同 附表 p.58
64bit OS 環境での動作について【9月3日更新】
現状のPictMasterは、64bit OS 環境では動作できません。
近日中に 64bit OS 環境でも動作できるバージョンをリリースする予定です。
と書きましたが、64bit OS 環境でも正常に動作できることを確認しました。
PictMasterでは、PICTがインストールされているフォルダを、"C:¥Program Files¥" に固定としています。 64bit OS 環境でPICTをインストールすると、インストールされるフォルダは、"C:¥Program Files(x86)¥"になります。
この状態でPictMasterの生成ボタンをクリックすると、PICTが見つからない旨の文字化けしたメッセージが表示されます。しかし、この症状は1回だけで、その後は正常に生成が行なわれるようになります。おそらく、Windowsが "C:¥Program Files¥"と指定されたフォルダを "C:¥Program Files(x86)¥" に自動的に置き換えるるようです。
PictMaster 4.3.2 をリリースしました
PictMaster 4.3.2 をリリースしました。
主な変更点は以下の通りです。
【機能改善】
・Excel2007以降とExcel2003以前のExcelが混在する環境での問題に対処しました。
・ウインドウ分割のショートカットキーに半角数字も使えるようにしました。
【バグ修正】
・Excel2007以降のExcelで使用した場合、制約表の行・列をコンテキストメニューで削除・挿入すると、セルの色が変化してしまうバグを修正しました。
【その他】
・PictMasterの機能説明を組合せテスト関係のみに限定し、ページ数を約50ページに抑えた「ユーザーズガイド」を用意しました。
PictMaster 4.3.2 は次のサイトからダウンロードすることができます。