多くの人は“思いつき”でABテストをしている。60億円の効果をあげた「仮説の立て方」とは

「現在の『自称Webマーケター』の多くは『ただのデジタルオペレーター』だ」

そう言うのは、資本金1万円で創業した「北の達人コーポレーション」を東証プライム上場企業にまで育てあげた木下勝寿さん。

木下さんが結果を出せたのは、2つの方法を組み合わせた独自のWebマーケティングで、適切なターゲットに効率的にアプローチできたからなのだとか。

その方法が惜しみなく書かれた新著『ファンダメンタルズ×テクニカル マーケティング』から、ABテストのやり方について一部抜粋してご紹介します。

ABテストというWebマーケティングの手法がある。

これは売りたい商品に対し、AとBとCという3つの広告原稿を作って出稿し、どの広告が一番成果が出たかを見て正解を決めるというものだ。

これをマーケティングの基礎知識がない人がやると、「A、B、CでテストをしたらAが一番良かったのでAが正解」とあまりに単純に判断してしまうケースが多い。

しかし、問題なのはこの単純作業を「Webマーケティング」だと思い込んでいる人も多いことである。

そもそもマーケティングは、どういうA、B、Cを用意するか、もしくはその他にもXやYが必要なのではないか？ ということの検証から始めるべきものだが、マーケティングの基礎がない人はここが大雑把である。

極端な話をすると、とりあえず思いつきのA、B、Cという選択肢を作って、その中から正解を決めるというABテストをしているケースが多いのだ。

このようなABテストは単なるAとBの比較でしかなく、両方ともダメな場合はどちらがマシかを教えてくれるだけである。

ある「フリース」の広告のキャッチコピーをABテストするとしよう。

この商品には「軽い」という特徴と「暖かい」という特徴があるとした場合、どちらを全面に出したほうがよりクリックされるかを計測する。

注意事項としてこれは「どう言うか（表現方法）」のABテストではなく「何を言うか（コンセプト）」のABテストなので、ここで表現方法が秀逸すぎると、コンセプトはAのほうが良いのだが、表現が良すぎてBのほうがクリックされるということも起こり得る。

よって、テストする3〜5個のネタの表現のレベル感を合わせておくことが必須だ。

そして「何を言うか」のABテストの時は、商品、ユーザー、競合のことを徹底的に調べ上げて、最初に100のネタをピックアップする。

その100のネタの中で厳選した3〜5個のネタでABテストをするのである。

ABテストの結果、3〜5個のネタの中に基準値を超える成果を出せているものがあればそれを正解とし、なければ残りの95〜97個のネタの中から再度3〜5個を厳選してABテストを行う。

間違っても適当に考えて思いついた、たった3〜5個のネタでいきなりABテストをして、その中で一番数値がマシだったものを正解にしてはならない。

「何を言うか」を決めるということはその商品のコンセプトを決めるのと同義だ。

前述の「何を言うか」のABテストで「軽い」という特徴のほうが支持されたとした場合、次にこのフリースの「軽さ」をアピールするために、どのような表現がよりクリックされるのかを計測する。

これも2〜3個作ってどれが良いかいきなり広告を出すのではなく、せめて10個くらいは作って自信のあるものから出していくべきである。

ABテストにはお金がかかることを忘れてはいけない。

テストをやればやるほど、その結果から得られるリターンは高くなければ割に合わない。

たとえ3回、4回とコストをかけてABテストを繰り返し、それで得た正解のクリエイティブだとしても、あっという間に疲弊する可能性がある。

今のように広告の疲弊が早い時代においては、いかに最少回数のABテストで正解にたどり着くかがクリエイターのスキル差に直結する。

元アメリカ大統領のバラク・オバマ氏が実践したABテストを紹介したい。

このテストは「何を言うか？」のレイヤーのテストである。

オバマ氏はネット上でボランティアの選挙スタッフを集める際に、図のようにいくつかのメインビジュアルを用意し、アクセスしたユーザーに対してランダムに出し分ける（ABテストする）ことによって、支援者のメールアドレスを最も効率的に集められるパターンがどれかを検証した。

ここでは、ABテストの重要なポイントをわかりやすく説明するために私なりの解釈で、3つのビジュアルに絞って解説する（実際は、ビジュアルは図の3つの画像の他に3つの動画の計6つ、右下の赤いクリックボタンは「SIGN UP」と「LEARN MORE」、「JOINUS NOW」、「SIGN UP NOW」の4つが用意されたため、合計で24パターンが用意された）。

まず、そもそもの前提であるが、ABテストは「どれが良いかわからないからユーザーに選んでもらう」ではなく、「仮説を立てて、その仮説が正しいか？ 複数の仮説の中でどの仮説が最も正解に近いか？」を判断するためのものだ。

その上で図の3案を仮説ごとに細分化すると以下のようになる。

まずは1と2の仮説のどちらが正しいかを見るために「キャッチコピーは同じだが写真が違う」AとBの比較テストを企画する。

そして次に、仮説3と仮説4のどちらが正しいかを見るために「オバマ氏1人の写真でキャッチコピーが違う」BとCの比較テストを企画して反応を確認する。

最終的にどれが一番成果が出たかわかるだろうか？

一番クリックされたのはAの「オバマ氏と家族」のビジュアルと「CHANGE（変革）」のコピーだった（クリックボタンは「LEARN MORE」）。

このテストは適当に写真とコピーを用意して「どれが一番人気があるか？」をユーザーに選んでもらったのではない。

「国民が大統領に望むもの」や「有権者が政治に望むもの」について仮説を立てて、その仮説に基づいた写真とコピーを用意して検証している。

このABテストの結果から把握すべきことは「Aが一番人気だった！ 以上！」ではなく「アメリカ国民は大統領に対して『愛情』、政治には『変革』を求めている」である。

仮説を立てていないと、ただ単に「子どもが写っている写真はクリックされやすい！」、「キャッチコピーは1単語のほうがウケる！」といったトンチンカンな解釈になる。

本当に「アメリカ国民は大統領に対して『愛情』を、そして政治には『変革』を求めている」からクリックされたのかどうか？

これはこの時点では明確にはわからないが、同様のことを繰り返していくことで仮説が確信に変わっていき、「バナーはどんな写真がいいか？」という低次元の話から「大統領選はどのように戦うべきか」という高次元のノウハウを得ていくことができる。

ABテストを正しく使えば、選挙戦を変え、当選する大統領を変え、ひいては国自体の行方を変えていくこともある。

補足だが、オバマ氏が寄付金として得た金額のボリュームを考慮すると、この改善による増収効果は約60億円と言われている。

ABテストの王道の改善形式（キャッチを変える、画像を変える）というのはテストに慣れたエンジニアであれば1時間ほどで対応できるものだ。

このことから、このテストがもたらした効果は「1時間で60億円」と言われており、ABテストの価値や重要性を見せつけた顕著な例として、世界的に知られている（このABテストの解釈には様々なものがあり、ここでは私なりの解釈で解説していることをご了承願いたい）。

同書は「こんなに詳細に教えてもらってよいのだろうか…？」と思うほど、再現性の高い具体的なマーケティングノウハウが詰まった一冊。

広告やメディアに関わっているWebマーケターなら誰でも、何かしらの気づきを得て視座が高くなったり、課題が解決したりするはずです。