意外と知らない？ABテストの成功率を格段に上げる5つのステップ

by Content Analytics事務局 · 公開済み 2024年10月31日 · 更新済み 2024年11月29日

WebサイトでのABテストが一般的になり、ABテストに取り組んだ経験のあるマーケターは確実に増えています。あなたもその一人かもしれません。その一方で、ABテストによる改善活動が成果を出すと分かっていても、導入や運用がうまくいっていないケースもあります。

忙しくて手が回らない
運用が全然進まない
成果が出せず、コストも合わないのでやめた
ツールを導入しているが全く使っていない

マーケターのこのような悩みを解決するために、今回は「実践的なABテストの導入方法」と「序盤のABテストを成功させるコツ」をステップに分けてご紹介します。停滞しているABテストをより効果的に動かし、CVR（コンバージョン率）改善につなげましょう！

ステップ①｜ABテストの対象ページに充分なトラフィック量があるか確認する

ABテストには、必ず「ある程度のトラフィック量（訪問等のサンプル数）」が必要です。トラフィックが足りないと、結果に対する正しい判断が難しくなり、結局A案とB案のどちらが勝ったの？と迷ってしまいがちです。この条件を満たさないままやみくもにABテストをしても失敗に終わるでしょう。

「そんな事言われても、うちにはそんなにトラフィックが無いよ・・・」

もしかすると、こんなふうに思われる方もいるかも知れません。そんな方向けのやり方も後ほどお伝えしますのでご安心を。まずは、なぜトラフィック量が必要か、基本的な知識をおさらいしましょう。

トラフィック量が必要なのは、なぜ？

例えば、CVRを比較するABテストをしたとします。

▼ABテスト①

訪問数：100
A案のCV数： 5件（CVR： 5%）
B案のCV数：10件（CVR：10%）

B案の方がCVRが高いのは分かりますよね。

▼ABテスト②

訪問数：10,000
A案のCV数： 500件（CVR： 5%）
B案のCV数：1,000件（CVR：10%）

今回もB案の方がCVRが高いですね。

では、ABテスト①とABテスト②のB案同士の結果を比べた場合、どちらの信頼度が高いでしょうか？統計的に考えると、②の方が「B案のコンバージョン率が高い」と言えるのは分かりますよね。

同じCVRでもトラフィック量によって信頼度が違ってきます。このように、正しいABテストには充分なトラフィック量が必要なのです。

では、必要なトラフィック量とはどのぐらいなのでしょうか？

トラフィック量の目安は、どのぐらい？

これを予測するのは簡単ではありません。なぜなら、実際の結果（CVなど）の差の大きさによって、信頼度を高めるために必要なトラフィックの量が変動するからです。ですが、結果の差が大きいか小さいかは、ABテスト前にはわかりませんよね？なので、予測が簡単では無いのです。

例）A案（現状のページ）のCVRが3%の場合

B案でCVRが「3.1%に改善」or「3.6%に改善」した場合、3.6%に改善した方が、目標のCV数を達成するために必要なトラフィック量が少なくなります。CVRが高く改善すればするほどに、同じ数のCVを得るために必要なトラフィック量が少なくなり、より少ないトラフィック量で信頼度のある差を検出できます。

先ほどもお伝えした通り、事前にABテストの結果の差を把握することは不可能です。そのため、想定する（求める）結果から、必要なトラフィック量の目安を、下記項目の数値を用意し、計算式で導きだすことができます。

対象ページ（A案）の現在のCVR（例：3%）
ABテストのB案で狙いたいCVRの改善幅（例：20％UP＝CVR：3%→3.6%）
同時に運用するABテストの本数（例：1本）
統計的優位性（例：95％欲しい）

上記の例で実際に計算すると、n=6,211、B案に必要なトラフィック量は6,211UUとなります。ABテスト全体で必要なトラフィック量はA案も含めるので、倍の12,422UUとなります。およそ13,000UUが上記の条件で必要なトラフィック量の目安となります。

とはいえ、実際に計算式を用いて計算するのは少し複雑ですから、ABテストツールのベンダーから提供されている計算機能をご紹介します。

参考：A/B Test Sample Size Calculator – Optimizely
https://www.optimizely.com/sample-size-calculator/

また、現場ではときに経験則で、A案、B案それぞれ100コンバージョン以上溜まるまでテストを運用し、その結果を持って判断する場合もあります。もちろん正確性には欠けますが、素早くPDCAを回す必要がある場合には便利な目安です。

トラフィック量が足りない場合、どうする？

トラフィック量が足りない場合は以下を計測しましょう。

その施策で変化すると想定される動きを計測する
例）追加したボタンのクリック数や、遷移させたいページへの遷移率
最重要KPIの途中にある中間KPIを計測する
例）カート投入ページや詳細到達、会員登録

つまり、CVやトラフィック量が少ない場合は、CV（お問い合わせや購入など）よりも多く発生する箇所で比較し、判断材料とします。もちろん本来のCVポイントでのCVRで比較できればベストですが、実際のABテストでは、間接的な指標で判断することも少なくありません。複数の指標で総合的に見ることも大事なポイントです。

では、トラフィック量をクリアできたら、「ステップ②｜サイトやページの課題を洗い出す」へ移りましょう。

ステップ②｜サイトやページの課題を洗い出す

前段のトラフィック量の話の中で、対象となる具体的なページが頭に思い浮かんだ方もいらっしゃるかと思います。担当者や当事者であればすぐに思い浮かぶページや課題箇所はいくつかあるものです。

すぐにその箇所のABテストに進みたい所ですが、ちょっとストップ！

せっかくなので、まずはこの機会に「課題の棚卸し」をしましょう。課題を出しきって「あっちを先にやっておけばよかった・・」というようなことが無いようにしたいですね。

では、どうやって課題の棚卸しをするのか？課題の洗い出し方を4つご紹介します。

方法①｜社内へのヒアリングで課題を洗い出す

まずは担当者や関係者から、課題を洗いざらい出してもらいましょう。少々手間はかかりますが、費用もかからず、すぐに取り組める方法です。

これまで、担当者や関係者が感じていた隠れた課題感をきちんと可視化するのです。現場の担当者や関係者が持っている課題は表に出ていないだけで、的を得ていることが多くあります。

方法②｜アクセス（ログ）解析で課題を洗い出す

次にユーザー側の目線も取り入れるために、サイトにおける重要な経路を特定していきます。あなたのサイトにはおそらくGA4やAdobe Analyticsなど何かしらアクセス解析ツールが入っているかと思います。アクセス解析ツールは、ユーザーの経路を分析するのに適しています。

例えば、Eコマースサイトであれば、以下のような経路が考えられます。まずはあなたのサイトでユーザーがよく辿るであろう経路を3-5個ほどピックアップしましょう。

そこから、経路の中で離脱率の高い場所を特定しましょう。離脱率が高いということは、そのページでユーザーが目的を達成できなかった可能性があります。つまりはそこが改善すべきページです。別記事：「LPO対策！直帰率と離脱率が高い場合に行うこと」では、離脱率が高い場合の考え方や改善施策について解説していますので、併せてご覧ください。

方法③｜コンテンツ分析ツールで課題を洗い出す

アクセス（ログ）解析では、ボトルネックとなる対象のページは分かっても「そのページ内のどこが悪いのか？」を調べるのはなかなか難しかったりします。

そんな時に活躍するのがコンテンツ分析ツールです。コンテンツ分析ツールは、ページ内でのユーザーの行動や、コンテンツ毎の注目度合いを数値化やビジュアル化してくれるので多くの気づきを得られます。

当社が提供するコンテンツアナリティクスは、ページ内の各要素がCVに寄与しているのか？どのぐらい見られているのか？などを自動で数値化。各コンテンツの成果から簡単にページ内の課題を導き出せます。

コンテンツアナリティクスのサービスページを見る

方法④｜ヒューリスティック分析で課題を洗い出す

もし予算があるなら、プロの力を借りるのも良い選択です。ヒューリスティック分析とは、ユーザビリティ調査の専門家によってサイトの課題を洗い出してもらうやり方です。専門家がチェック項目にもとづきサイトをチェックし、課題を出していきます。比較的多くの課題を短期間で出せることが特徴です。

方法⑤｜ユーザー調査で課題を洗い出す

ユーザー調査とは、一般人に被験者となってもらい、実際にサイトを使っている様子を観察することで課題を洗い出すやり方です。

ユーザビリティ研究の第一人者であるニールセン博士によれば、ユーザー調査を3-5人行なうのが最も費用対効果が高いそうです。わたしたちの経験でも、3人行えば課題の8割方が出てくると感じます。まずは3人でやってみましょう。

これで課題が多くリストアップされました。次はその課題に対して「優先順位」をつけていきましょう。

ステップ③｜洗い出した課題に優先順位をつける

このステップでは課題に優先順位をつけていきます。分かってはいても面倒で端折ってしまいがち・・・それが優先順位づけですよね。今回はフレームワークを使って、できるだけ効率的に順位付けが進むようなやり方を紹介します。

手順①｜課題に重複がないかチェックする

優先順位付けをする前に、重複チェックを行いましょう。

さまざまな方法で洗いだした課題ですが、方法が複数になれば、重複した内容になることも多くあります。まずは重複、もしくは似ているものを一つにまとめていきます。重複チェックをすることで見通しが良くなるはずです。

手順②｜優先順位をつける

優先順位付けを効率良く進めるためのコツは、課題に対して「スコア付け」をすることです。

スコアの軸はいくつかありますが、Web改善ではPIEフレームワークがおすすめの一つでしょう。Potential、Importance 、Easeという3つの軸で、それぞれを1~10段階評価した際の平均値をスコアとする方法です。スコアの高い課題から順に解決していくことで、効率よく改善を進めることができます。

可能性｜Potential
例）重要な経路上のページやユーザーの評判が良いコンテンツである
重要性｜Importance
例）トラフィック量の多いページや、広告費をかけて集客しているページである
容易さ｜Ease
例）テスト案の作業難易度が低いページである（一般的にカート内や検索結果など、システムで動的に生成されるページは難易度が高い）

ステップ④｜初めてのABテストを成功させる

さあ、いよいよABテストの実行です。基本的には、ステップ③で決めた優先順位通りに進めるのが良いのですが、初めは「一番簡単で、勝ちやすい」ABテストを行うようにします。

初回のABテストの結果は、上司やチームメンバーへ与えるインパクトも非常に大きく、ABテストという施策そのものへの評価（有用度）へつながることも珍しくありません。

成果が上がらない、特に変わらないとなってしまうと、社内で懐疑的な意見が出てしまい、今後の改善活動がやりづらくなることも。あなたの取り組みが上司やメンバーにも認めてもらえるように、少しでも成功の確率が高く、かつ実装の早いテストを行うことが重要です。

では「一番簡単で、勝ちやすいABテスト」とはどのようなものでしょうか？

二番目のおすすめは「商品詳細ページ」

サイトにランディングページが無い場合は「商品詳細ページ」がおすすめです。

より購入完了に近いページのため成果が上がる可能性が高い
一般的に商品詳細はページ数が多いためトラフィック量を確保しやすい
CTA（コールトゥアクション）が設置されているためCVを促しやすい

ただし、商品詳細ページはシステムで生成されている場合が多く、ABテストの結果を本番反映させるのに時間や費用がかかる場合がありますのでご注意ください。

最初にABテストすべきでないページ

反対に「やるべきでないページ」も合わせてお伝えしておきます。ずばり「複雑な処理が必要なページ」です。

例えば、ログイン前、ログイン後の出し分けABテストなどは、この段階でやるべきではありません。技術的なハードルが立ちはだかり、ABテストの実装に時間がかかったり、設定時のミスでサイトに大きな影響が出てしまったりと、予定通り進まないことが往々にしてあります。

一番最初は「リスクが低く」「素早く」「成果があがりやすい」ABテストを選びましょう。その観点から、前述したランディングページや商品詳細ページがおすすめです。

繰り返しになりますが、素早く成功体験を積むことは、上司やチームからの協力を得られることにつながり、社内にABテストの改善活動を浸透させるためにも重要です。

ステップ⑤｜二度目のABテストも成功させる

改善活動は一度だけでは終わりません。一度目で成果を上げたらすばやく二度目のABテストを実行しましょう。

二度目のABテストは、一度目のABテストの「別案」を

二度目のABテストは、一度目のABテストの別案を作ることおすすめします。理由は4つあります。

工数が抑えられ素早く行える
一度目で行なった設定や改修などの作業がそのまま活かせるため、工数が大幅に減る
PDCAサイクルを実感できる
一度目のABテスト結果から別案を考えることで、PDCAサイクルのチェックとアクションが動き、サイクルが回っていくのを実感しやすい
更なる成果を上げられる可能性がある
一度目で成果が上がっているのであれば、改善率が積みあがっていくことでより大きな成果を生みやすい
結果から更なる仮説が出やすい
仮に、一度目で成果が上がっていなくとも、結果から考えられることが増えるため、新たな別テストをするよりも、成功する可能性が高くなる場合もある

一度目、二度目と序盤のABテストは、狙って成果を取りに行くことが重要になります。

本記事ではABテスト導入から、運用序盤までの流れを説明しました。ABテストをこれから始める方や、ABテストを行っているけど成果を上げられていない方は、ここに書かれていることができているかどうか、ステップごとにぜひ今一度見直してみてください！

この記事を書いた人