今回はA/Bテストについて説明します。
A/Bテストとは1対1でどちらが強いかを判断する方法で、統計学の有意差検定がしばしば活用されます。
有意差検定とは
「クリエイティブ間（バナー広告間など）のクリック率などに差が出ているときに、本当に統計的に意味のある差なのかを判定する方法」
有意差検定が重要性に気づくには次の認識が必要です。
全く同一の広告を同時に2本配信したとしても、クリック率は2つのバナー間で差が出ます。これは、①真の実力は同じであっても、実際に観測される数値は見かけの数値で、偶然差が出ることもあるという事です。この認識が大切です。
よって、②差が出ていても、それが偶然を超えて、ほんとのホントの差なのかを評価する必要があるということです。それをしないと、真の力は同じか又は逆であるのに、偶然の差に目を奪われて間違った判断をしかねません。
身近な事例を2つ上げます。
例1
2人（A君・B君）の人が100回サイコロを振って、1の出る回数を競うとしましょう。勿論サイコロにいかさまは無しです。
結果
A君は、100回中16回、1が出ました。
B君は、100回中20回、1が出ました。
この時、B君は「自分の方が1を出す才能がある」と主張したとします。さて、この主張が間違いである確率は何パーセントでしょうか？
もしかして、本当にB君はうまい投げ方を知ってるかもしれないので、頭ごなしにそうじゃない！という判断はしないようにしてください。あくまでデータを見ましょう。
t検定という方法を用いると約20％の確率で、B君の主張は誤った主張となります。別の言い方をすると、この程度の差であれば、20％くらいの確率で、偶然起きてしまうということです。よって、B君の判断は、軽率な判断とみなしてよいでしょう。
なお、ここでも上記の誤判断の意味は、A君の方が能力が高いということにイコールでないことに気を付けてください。あくまでも、どちらが良いか分からないという意味です。
※具体的には、上記の差が偶然に生まれる確率を計算します。正確な計算方法は、Wikipediaや参考図書をご覧ください。
次の例はスポーツの例です。
例2
プロ野球で、阿部慎之介（巨人）とバレンティン（ヤクルト）の出塁能力を比べてみましょう。
2013年結果
阿部慎之介は、422打数で出塁率は0.427。
バレンティンは、439打数で出塁率は0.455。
バレンティンの方が随分出塁率が高いです。この時、「バレンティンの方が出塁する能力があった」と主張したとします。
さて、この主張が間違いである確率は何パーセントでしょうか？答えは、約20％です。阿部慎之介よりバレンティンが出塁能力があるという判断、これも例１と同じで、差は偶然起きた確率は約20％です。低くありません。よって、軽率な主張とみなしてよいでしょう。
なお、ここでも上記の誤判断の意味は、バレンティンよりも慎之介が能力が高いということにイコールでないことに気を付けてください。
さて、ここまでまとめると
・真の実力が同じであっても、誤差の影響で、偶然に差が生まれることがある。
・差が偶然生まれる確率が高い場合は、差があるという判断はリスクを伴う判断である。
つまり、有意差検定というのは、差が偶然生まれる確率を計算し、偶然の確率が低ければ偶然でない、つまり必然とみなして、本当の差と判断しようという方法です。
ここで、低い確率とは何％を指すのでしょうか？統計学的には有意水準と言って、リスク許容度を表しています。業界によって違いますが、弊社では10％で設定しています。つまり、誤判断の確率が10％より低い場合は、リスクは低と判断して、えいや！と判断を下します。
ちなみに、製造業では5％くらいで、薬の臨床試験では1％以下です。薬の試験で、リスク10％くらいあって判断されたら怖いですから、時間かけてじっくりやってほしいです。ネット広告の場合は、時間をかけすぎてもいけないので、10％のリスクを背負いつつ、比較的さくっとスピーディーに検証します。
最後に、インターネット広告の場合を考えてみます。
例3（インターネット広告の例）
予算100万円でバナー広告を5種類配信している場合を考えます。
1クリック当たりのコスト（コスト・パー・クリックCPC）：100円
コンバージョン率：1％
クリック数：10,000
コンバージョン数：100
これを5本のバナーで分けます。
このとき、2つのバナー間にCV数が1.2倍差が付いたとします。
つまり、以下の2本のバナー広告があったとします。
バナーA：クリック数2000・コンバージョン数20
バナーB：クリック数2000・コンバージョン数24
20％も改善しているように見えます。
さて、有意差検定してみると、バナーBが良いという判断は、約25％の確率で誤判定となります。この程度の差であれば、25％くらいの確率で、偶然起きてしまうという事です。このような判断は、軽率な判断とみなしてよいでしょう。
このように、20％程度の差であれば、この程度のサンプル数では偶然を超えた判断はできないという事です。いわんや、5％改善、3％改善などは、偶然の域を出ていません。
偶然に左右された結果を元に、判断を下したり、その訴求のバナーが良かったなどという事は、リスクの高い判断になりますから、継続的に勝ち続ける判断にはなり得ません。
広告主の方で、広告代理店がクリエイティブ検証で数％しか差が出ていないのに、「数％ですが広告コピーを変えたらクリック率に差がでました！このコピーが良かったんです！」とか言ってきたら、しっかり突っ込みを入れてくださいw
「有意差検定してますか？」
上記例の場合、有意差が判定できていないのですが、何がまずかったでしょうか？
前回の記事を合わせてお読みいただきたいのですが、答えは、配信量（予算）、クリック率やコンバージョン率を目安に、配信可能なバナー本数を、検証前に計算しておくべきでした、とうことです。
有意差検定は統計学的に基礎ですが、実際やるとなると現実的に考えなければいけないので、コンサルティング能力というか検証デザイン能力がいるということです。
データ分析やっている立場でいうと、できるだけ偶然ではない確固たる判断を行う、長期的に勝つ、確固としたナレッジを蓄積する必要を強く感じています。弊社では、そのような分析スキルを高めるべく人材育成含めて力を入れています。広告主の方で、ご相談ありましたら是非どうぞ。
参考リンク
t検定のWikipedia
参考図書
A/Bテストの場合（有意差検定）
