小川卓が解説！ウェブサイトの分析プロセス4：ABテストを上手く活用するための２つのポイント
こんにちは。
UNCOVER TRUTHのCAO（Chief Analytics Officer）小川卓です。
いまお読みいただいている【小川卓が解説！ウェブサイトの分析プロセスシリーズ】も残すところ、今回と次回の計2回となりました。※今後も別のシリーズを展開予定ですので、ご期待ください！前回の記事（小川卓が解説！ウェブサイトの分析プロセス3：改善案の洗い出し方）では、分析から得られた気づきを分類し、改善案の出し方までをご説明しました。
今回の記事では、実際に出た改善案を、具体的にどのようなタイミングで使うべきなのか？そして仮説検証をするべきなのか？そのためにABテストをうまく活用するためのポイントとは？についてご説明させていただきます。
目次
ウェブサイトの分析プロセス4：ABテストを上手く活用するための２つのポイント
ABテスト自体はご存知の方も多いかと思います。仮説を元に複数案を出して、どれが一番「良い」かをユーザーに委ねてテストするための手法です。社内あるいはお客さまと一緒にABテストを行っている企業も多いのではないでしょうか。私もABテスト始めてから10年以上経ちますが、現在も活用しています。
ABテストを活用する一番のメリットは、「施策の効果があるか分からない」時に、サイトを利用するユーザーに判断してもらえるという事です。Google Optimizeなどの無料A/Bテストツールも充実しており、ABテストは多くの企業に浸透してきたかなと考えております。
しかし、活用度合に関しては、まだ企業ごとに大きく違うなというのを感じます。なんとなくABテストに取り組んでいる会社もあれば、戦略的に取り組んで成功している会社もあります。
どうやったらABテストをウェブサイトの改善に繋げられるのか？活用するために必要な２つのポイントを紹介いたします。ぜひ皆さんも自社、あるいは、お客さまとの取組にあてはめて、改善が出来る点がないかを考えてみましょう。
ポイント１：ABテストをそもそもするべきなのか？
何かしらサイトの施策を行う前に、まずは考えてみましょう。今回の施策内容に関してはABテストを行う必要があるのか？ ABテストには向いているシーンと向いていないシーンがあります。以下の情報を参考に、まずは判断をしましょう。
■ABテストが向いているシーン
〇デザインの「要素」をテストしたい場合
⇒どちらのクリエイティブがいいかな？
⇒ボタンの文言はどっちのほうがいいかな？
〇組み合わせで効果が変わる可能性があるテストをする場合 ※１
⇒画像とキャッチコピーが３パターンずつありベストな組み合わせを見つける場合
〇定性的な議論ばかりで、声が大きい人が勝ったり、結論が出なかったりする場合
〇画面上で簡単に改修出来る内容の場合（Google Optimizeなどのツールは画面上だけでテストパターンを作成する事が出来るため）
※１ ABテストの中にもいくつかの種類があり、主に以下の３種類に分類する事が可能です。※１で触れたのは「多変量テスト」の例を指します
■ABテストが向いていないシーン
×インパクトが薄い変更
⇒ページ下部のコンテンツのフォントの大きさを変えてみる
×どう考えても悪くなることがない要素のテスト
⇒入力フォームでフッターやヘッダーを外すなど常識的に考えて悪くならない施策の場合（テストするのではなく本番反映してしまったほうが早く成果が出る）
×訪問数が少ないページやサイト
⇒まずは集客に予算と時間を割り当てる
×戻すことが出来ない施策を実施する場合
⇒機能追加やリニューアルなど結果が悪くても、実行するような施策の場合
ABテストに関しては、「ABテストを行う事」が先に決定していると上手くいかないケースが多いです。「本当にABテストをするべきなのか？というか、そもそも他の施策を実行したほうが良いのでは？」というそもそも論を頭の片隅においておかないと、ABテストを行うことが目的となってしまうので、注意をしましょう。
具体的な例も見ておきましょう。例えば物件の詳細ページで３か所の施策を考えたとしましょう（以下図の①～③が対象）。
この中でABテストするべき施策はどれだと思いますか？筆者でしたら①はABテストせずに実装してしまい、②と③に関してはABテストを行うと考えます。
施策①（パンくずリンク）は、新たな要素の追加かつ追加することによって悪くなる可能性が限りなく低いからと推測するためです。またクリエイティブ（文字列）のパターンも複数種類試すような内容では無いので、そちらのテストも必要ありません。
残りの施策②（キャッシュバック賃貸の訴求文言）と施策③（お問い合わせの訴求文言）に関しては文言が増えたことにより、逆に見えにくくなる可能性もあります。またクリエイティブによって結果が変わってくる可能性があるため、文言もあわせてABテストするべきと判断します。
このように施策ごとに、ABテスト必要性の有無を整理してから実行に移りましょう。
ポイント２：数値の細かい上下に囚われて、仮説検証を忘れていないか？
ABテストを行う際に必ず話題になるのが「何件くらいの訪問やコンバージョンがあればよいのか」「どれくらいが有意差なのか」といった議論です。この部分にとらわれ過ぎたため（人によって意見が違うため）その議論でテストが止まってしまうケースを何度か見てきました。この辺りの施策評価の考え方は、次回の記事で紹介いたします。
また、成果をなんとか上司やお客様に伝えるため、細かい数値の変化に一喜一憂しているケースもよく散見されます。101%の改善とか、日ごとによって片方のパターンが良い日もあれば悪い日もある。そういった細かい変化を見ても本質的には意味がないと考えています。
ABテストを実行する際の心構えとして以下２点を意識しましょう。
１） 成功・失敗にせよ明らかな違いがある場合、それは明確にわかるはず
日によって結果が変わるような施策は、正直大きな成果は見込めません。様々なABテストを自ら行ったり、サポートしたりしていますが、明確な結果が出るものというのは２割あれば良い方かなと思っております。
「少し良さそうだけど、よくわからない」みたいなものが大半です。そしてABテストを実行している側も明確な差が出た時と出なかった時というのは数値的に直感的にもわかるはずです。もちろんテスト件数を貯めるためにすぐに判断はできませんが、上手くいくようなテストパターンは数日もあればわかるはずです。
２） 仮説を検証するためのABテストであるということ
もちろんウェブサイトを改善するためにABテストを行うのですが、それ以上に大切なのは「何を検証したいのか」という仮説設定の部分です。
例えば
■金額訴求が良いのか、品質訴求が良いのかを判断するためにTopバナーのキャッチコピーを変えてみる
■商品一覧から商品をカートに直接入れてもらう あるいは 一覧ではカート追加させず詳細からカートに入れてもらう どちらのタイミングでユーザーは購買したいと判断するのか？を把握したい
といった形で「仮説」を出した上でテストパターンを用意し、それを検証するという事です。
仮説を検証するという事を意識していれば、結果が出ても出なくても、新しい「知見」を手に入れることができます。
まとめ
今回はABテストについて紹介をしてきました。どういったタイミングで使うべきか、そして仮説検証を行うべきという内容です。UNCOVER TRUTHでは分析だけではなくABテストの実施や評価なども行っております。またヒートマップツール「USERDIVE」を活用し、ABテストの評価をより詳細に行うといった取り組みも実施しています。
さて、次回はABテスト（及び通常の施策）をどのように評価するべきか？見るべき指標と検証方法について紹介いたします。お楽しみに！
- 小川 卓
- 株式会社UNCOVER TRUTH
- CAO（Chief Analytics Officer）
Webアナリストとしてマイクロソフト・ウェブマネー・リクルート・サイバーエージェント・アマゾンジャパンなどで勤務。解析ツールの導入・運用・教育、ゴール＆KPI設計、施策の実施と評価、PDCAをまわすための取り組みなどを担当。全国各地で講演を毎年40回以上行っている。デジタルハリウッド大学大学院客員教授。 主な著書に『ウェブ分析論』『ウェブ分析レポーティング講座』『マンガでわかるウェブ分析』『Webサイト分析・改善の教科書』『あなたのアクセスはいつも誰かに見られている』『「やりたいこと」からパッと引ける Google アナリティクス 分析・改善のすべてがわかる本』など。
UNCOVER TRUTHでは様々な業界の企業さまのWeb事業を成長させるお手伝いをさせていただいております。Webサイト改善についてご興味がございましたら、ぜひお気軽にお問い合わせください。