『多変量テストは、バナー広告内のどの要素が良いのかを判定する方法』
よって、多変量テストは、バナー広告のクリック率が高い時に、その原因、つまり『なぜ？』にまで踏み込んで分析します。
広告主にとってメリットのある方法ですので、是非参考にしてください。
（※メリットは文末にまとめておきましたので、スキップしたい方はどうぞ。）
さて、今回は、多変量テストとはどのような方法かを例を使って解説します。
※このブログでは、計算式は書きませんが、裏では実験計画法や重回帰分析などを用いています。興味のある方は勉強してみてください。文末に、参考書を上げました。
他愛もない例ですが、方法はインターネット広告のクリエイティブ検証と全く同じです。
さてさて、今回の目的は、次の通りです。
『モテる男になるために、どの要因が大切なのかを発見する事です。』
※弊社キラキラ女子1名に協力を頂きました、リアルな数値です。
ステップ1：因子の選択
モテる男といっても、要素は色々ありますから、どのような要素が重要なのか、あらかじめ当たりを付けます。当たりを付けた要素を因子と呼び、因子が水準と呼ばれる内容を含みます。
今回は、以下の4因子がモテる男になるために大切なのではないかという仮説を立てました。
ステップ2：検証の実施
因子を色々組み合わせて、仮想的な8人の男性を作ります。そして、点数を付けてもらって、傾向を分析します。
この時、全組合せは2×2×2×2=16通りです。しかし、アンケートがあまりに多くなりすぎると、嫌われてしまいます。少ないアンケート結果から可能な限りの結果を引き出したいところです。
今回紹介する方法では、8人の男性に点数をつけてもらうだけで、その他8人の男性の点数まで予測できます。
効率的に検証することができる点が多変量テストの長所です。
ステップ3：分析（その他組合せの予測）
得られたデータを元に、まず、アンケートで点数を付けてもらわなかった他の8人の予測値を出します。アンケートした結果以外にも、100点の男性がいる事が分かります。これで、部分的なアンケートで全体の結果を予測できました。
ステップ4：分析（効果の可視化）
最後に、各因子がどのくらい点数に寄与したのかを図示します。この図は要因効果図と呼ばれます。傾きが大きい（斜めっている）ほど、その因子が点数に寄与していたことを意味します。
この結果を見ると、被験者の弊社キラキラ女子にとって、身長が高い男性が、大切な要素だという事が分かります。
図では見づらいですが、2番目に寄与の大きな因子は、年収です。やはり金か！
ステップ5：今後の方針（モテる男になるために）
最後に、当初の目的通り、モテる男になるためにどうすればよいかを考えます。上の要因効果図から有益な示唆が得られます。
第1にすべきことは、身長を伸ばすことです。
└これ無理！施策に落ちないよ！
第2にすべきことは、年収を伸ばすことです。これにより、点数が約20点伸びます。
└これは、頑張れば必ずしも不可能ではない！はずorz
組合せ効果も出ています。顔×性格です。顔が福山の場合は性格ベストマッチが良く、顔が筆者の場合は性格普通が良いとの結果です。顔が良い男とは心を通わせたいが、普メン(？)とはドライでいたいということでしょうか。女性の心は複雑です。
注意
①上記の効果は、その効果が統計的に有意な結果かどうか検定を行う必要があります。念の為、検定を行ってください。楽しい記事にするために、検定の話までは行いませんが、上記結論が統計的に偶然を超えた結果と言えるかチェックが必要です。
②顔の因子で、福山より筆者の方が点数が高くなっています。この結果から、筆者の方が顔が良いとの誤った判断をしてはいけません。その他の因子と比較するとたわいもない因子だったため、効果が見えなくなったと考える方が自然です。調子に乗らないように。
最後に
多変量テストを実施する事のメリットは以下の通りです。
①深いレベル（因子レベル）で効果が高かった原因が定量的に分かる。
└効果を上げると同時に、能動的に次の施策が打てる
②部分的な因子組合せで、全体を予測できるため効率的に検証できる。
└配信期間やクリエイティブ制作を最小限に抑えることができる
③A/Bテストではわかりにくい、組合せ効果が分かる。
└経験上、組合せ効果は高い事が多いです。組合せ効果を無視して、1因子検証を繰り返すことを進める専門家もいるようですので、よく検討してください。
④（因子選びの）失敗さえもナレッジにできる。
└効果のない因子は次回から検証に加える必要はなく、そのような因子で無駄なA/Bテストをするリスクを未然に防げるのです。今回、顔はあまり効果に寄与していないので、被験者の女性にもてるために、顔を磨くのはやめた方が良いという事です。
多変量テストは、以上のようなメリットがあって楽しい方法ですね。
この方法を、インターネット広告のクリエイティブ検証への応用は自明と思いますので、是非一度トライしてみてください。
弊社では、多変量テストについての成功事例がたくさんあります。ただし、この方法は初めのセッティング（実験のデザイン）がとても大切です。つまり、クリエイティブ制作部門とデータ分析部門、さらに、広告主の課題を熟知した営業、それら部門横断の連携がとても大切です。
弊社ではそういった連携ができるので、広告主の方は是非ご相談いたければと思います。
参考リンク
以下のリンクは、以前筆者が行った分析が取り上げられた記事です。効果的に検証を行うというところを、さらに突き詰めて、超効率的に多変量テストする方法を提案して、効果を上げています。マニアックですが、宜しければどうぞ。製造業では活用されるタグチメソッドという方法の一例です。
ものづくり革新ナビ
半導体製造プロセスにおけるパラメータ設計とT法の併用による超効率的条件最適化
参考図書
以下の本は、私が持っている本で、多変量テストをする際に、役に立ちます。
- 入門 実験計画法/日科技連出版社
- ￥4,410
- Amazon.co.jp
以下の本は、私は持っていないので、推薦するのはおかしいですが、簡単に書かれた本もいろいろあるという事で、この分野を本気でやってみようと思う場合は、何冊かトライしてください。- 図解入門 よくわかる最新実験計画法の基本と仕組み―実験の効率化とデータ解析の全手法を解説 (H.../秀和システム
- ￥1,890
- Amazon.co.jp
- 図解入門 よくわかる最新実験計画法の基本と仕組み―実験の効率化とデータ解析の全手法を解説 (H.../秀和システム