クリエイティブ検証は大きく分けて、2種類あります。
・A/Bテスト（有意差検定など）
・多変量テスト（実験計画法など）
※クリエイティブ：ランディングページ、バナー広告、テキスト広告など
これら検証手法は弊社でも活用されていて、私が担当させていただいた案件だけでも成功事例がたくさんあります。広告効果の向上だけではなく、ナレッジの蓄積ができる方法ですから、広告主の方々のメリットになるので、これら方法は積極的に活用すべきと思います。
しかし、データ分析する側から言わせていただくと、検証前に統計的な考えに基づいて準備すべきことがある、この認識が大切です。それをやらないことにより、広告主とインターネット代理店共に不幸になるので、基本的なことですが大切ですので書いてみます。
さて、広告主の方はよくこんな提案を耳にすることはないでしょうか。
登場人物は広告主、広告代理店A、広告代理店Bです。
広告代理店A⇒広告主
「弊社であれば、クリエイティブ1000本製作して検証することにより、クリエイティブ最適化ができます。」
広告主⇒広告代理店B
「某社は、クリエイティブ1000本製作して検証することにより、クリエイティブ最適化ができると言っていますよ。御社どうしますか？」
広告代理店B⇒広告主
「弊社であれば、クリエイティブ2000本製作して検証することにより、クリエイティブ最適化ができます。」
広告主⇒広告代理店B
「御社に決定いたします。」
広告代理店A
「次回提案からは、もっとたくさんクリエイティブ制作しよう。」
配信スタート。そして数日後。
広告代理店B
「クリエイティブ沢山入稿して配信したけど、CVがゼロのクリエイティブがたくさんあるよ。最適化のために停止しよう。良いクリエイティブだけ残ったから最適化されたぞ！」
広告主
「すばらしいオペレーションですね。御社最高です。」
こんな会話に参加したことのある方々はいらっしゃいますでしょうか？
そのような方々、目を覚ましてください！
この会話の何が突っ込みどころでしょうか。
認識すべきは、インターネット広告配信予算と検証期間が決まっている場合、それに適したクリエイティブ本数があるという事です。
多くの場合、1000本のクリエイティブ入稿は無茶です。クリエイティブの本数が多い場合、1本当たりに対する配信は少なくなりますから、検証できる程度のサンプル数（表示回数やクリック数、CV数など）は貯まりません。サンプル数の少ない場合の判断は、判断ミスのリスクが高くなるため、正しい判断をし続けることができません。
例として、以下の場合を考えてみます。
配信期間：1か月
CPM=\100 ：1000回広告表示された当たりの平均コスト
CTR=1% ：広告が表示された時のクリックされる確率
CVR=1% ：広告が1回クリックされた時の、CV（商品購入などの目標達成）される確率
総予算100万円
目標：CVRの良いバナー広告を発見したい。
まず、上記広告代理店Aの提案のように1000本のバナー広告を入稿する場合を考えてみます。
この時、配信修了後にバナー間にCVRが1.2倍の差が出ていたとします。その場合、統計的に有意な差であるというためには、追加で約2500日（＝約7年）の日数が必要です。1か月では全然足りません。100本入稿の場合も同じで、約250日必要です。
※平均値の差の検定（t検定）で、有意水準10％の場合で計算しています。
要するに典型的な広告主の予算では、1000本はおろか、100本のバナー検証は無理なのです。適正な本数は、この例の場合、10本程度です。
参考資料(※1)に挙げたような方法論、統計学的に確立した方法論を用いて、適切な本数でインターネット広告の効果を上げている事が大切です。
根性だけで提案するインターネット広告代理店があるようですから、広告主の方は注意してください。検証ができず、リスクの高い判断で、判断ミスにより広告効果が改善せず、かつ、配信結果データからナレッジを抽出できません。
また、インターネット代理店や媒体社側から見ても、バナー広告を死ぬほど入稿（ぽちぽち）しているオペレーターの方々がいるわけですから、沢山入稿しても数日で停止判断をされてのでは、仕事の意味を見いだせるでしょうか。インターネット業界の健全な発展になるでしょうか。
最後になりますが、弊社では、インターネット広告をサイエンスするべく、人材の育成に力を入れています。これにより、データ分析を取り入れて、広告主に対して、恒常的な広告効果向上とナレッジの蓄積で貢献できればと思っています。
参考図書(※2)で上げたように、ラスベガスで統計学を駆使して、直近の結果だけに一喜一憂しないで、可能性の高い方法で挑戦し続ける人たちの話がありますが、このような精神こそ、インターネット広告配信・運用で勝ち続ける為に必要であると思っています。
次回は、A/Bテストについて紹介しますので、宜しければどうぞ。
補足
上記に当てはまらない場合、つまりクリエイティブを沢山入稿する事が正当化される場合もありますので、お気を付け下さい。その際に、各バナー個別の良し悪しは検証できないことに注意してください。
ケース1
・クリエイティブを多く入稿することにより、全体の平均値としてCVRやCTRが上昇する場合
ケース2
・クリエイティブを多く入稿することにより、表示回数が多くなる、または多く入稿しないと表示回数が少なくなる場合
参考図書1
- Excelで学ぶ統計解析―統計学理論をExcelでシミュレーションすれば、視覚的に理解できる/ナツメ社
- ￥2,625
- Amazon.co.jp
参考図書2
競争優位で勝つ統計学 ---わずかな差を大きな勝利に変える方法/河出書房新社
- ￥1,995
- Amazon.co.jp