小川卓が解説！ウェブサイトの分析プロセス5：施策を正しく評価するための方法

2019.9.11. Wed

アナリストブログ

CROウェブサイト改善分析プロセス小川卓

こんにちは。
UNCOVER TRUTHのCAO（Chief Analytics Officer）小川卓です。

ご好評いただいた【ウェブサイトの分析プロセスシリーズ】も5回目の今回が一旦最後となります。※今後も別のシリーズを展開予定ですので、ご期待ください！

前回の記事（小川卓が解説！ウェブサイトの分析プロセス4：ABテストを上手く活用するための２つのポイント）では、実際に出た改善案を、具体的にどのようなタイミングで使うべきなのか？そして仮説検証をするべきなのか？そのためにABテストをうまく活用するためのポイントとは？についてをお話させていただきました。

今回の記事では、実際に施策を実行した後に、正しくその成果を評価するための方法についてご説明させていただきます。

ウェブサイトの分析プロセス５：施策を正しく評価するための方法

ウェブサイトを分析して改善案を出して、その施策を実行する。さて、その結果をどのように評価するのが良いでしょうか？ABテストの場合、テスト件数は何件くらい必要なのか？期間はどれくらいで見るべきなのか？有意差はあるのか？などいろいろな質問や疑問が出てきます。今回の内容は、それらに対しての考え方を紹介していきます。ぜひ、皆様もテストを実施する上で、より精度が高い評価が行えるようになりましょう。

施策を評価するための２つの指標：直接指標と成果指標

施策を実行する際に、評価は必ず２つの指標を使って行います。それが「直接指標」と「成果指標」です。

直接指標とは、「施策によって直接影響を与える数値」になります。例えば、お問い合わせボタンへのリンクの文言を変えた場合、まず期待しているのはボタンのクリック率が改善する事です。

例：どちらのキャッチコピーの方がクリックされやすいか？

またランディングページで表示するコンテンツの順番を入れ替えたり、文章を見直したりする場合はスクロール率に影響を与えることが考えられます。

このように施策を実行した時に、直接影響を与える指標をまずは１つ（以上）決めましょう。代表例は以下のような指標です。

成果指標は、名前の通り行った施策がサイトの最終ゴール（お問い合わせ・購入など）に与えた影響になります。そのため見るべき指標は該当施策に触れた訪問のコンバージョン数とコンバージョン率になります。施策でどのコンバージョンを増やそうとしているのかを決めましょう。

成果指標は、名前の通り行った施策がサイトの最終ゴール（お問い合わせ・購入など）に与えた影響になります。そのため見るべき指標は該当施策に触れた訪問のコンバージョン数とコンバージョン率になります。施策でどのコンバージョンを増やそうとしているのかを決めましょう。

直接指標と成果指標は事前に数値を確認しておきましょう。その数値をどれくらい増やすのかをイメージする事が大切です。

例えば、詳細ページからカートへの遷移率が現在5%、そして詳細ページ経由のコンバージョン率は2.5%で120件だとしましょう。これが現状の直接指標と間接指標の値です。

施策によってカート遷移率が7%まで上げることを目標としたとしましょう。その後の遷移率が変わらなければ、

【直接指標】カートへの遷移率　5％⇒7％
【成果指標】詳細ページ経由のコンバージョン率　2.5%⇒3.5%
【成果指標】詳細ページ経由のコンバージョン数　120件⇒168件

となります。

何故、直接と成果指標の２つを見る必要があるのか？

２つの指標を必ず見るのは理由があります。その理由とは、施策の効果計測を適切に行うためです。上記で最後に紹介した、どれくらい数値が改善するかの例では「その後の遷移率が変わらなければ」という前提が入っていました。

しかし、この前提が違う可能性があるのです。つまり詳細からカートへの遷移率が上がっても、その先のカートから決済への遷移率が下がってしまう可能性があるという事です。

このようなケースの場合、直接指標だけを見ていた場合、数値が改善したように見えますが、成果指標が上がっていないという事になります。そのために両方の数値を見る必要があるわけです。

さて、この２つの指標がどのように変わったかを見ることによって、より適切な評価が行えるようになります。以下のマトリックス表をご覧ください。

行ったテストは必ずこの３×３の組み合わせのいずれかになります。そして大切なのは、それぞれの結果が出たときに、どのような判断を行うのかを「事前」に決めておくことです。

私のほうで一例を用意してみました。こちらを参考に社内で事前にルールを決めておくことをオススメします。

施策の良し悪しはどのように判断すればよいのか？

上記の例では「改善」「改悪」と書きましたが、何をもって良いか悪いかを判断すればよいのか？という疑問があるかもしれません。

例えば遷移率が34%から58%に上がっていれば改善と言えそうですが、34%から36%の場合は改善と言えるのでしょうか？施策の効果があったのか無かったのかを判断するためには、いくつかルールや基準が必要となります。それらを確認していきましょう。

まずはテストの件数です。件数が多いほうが精度は高そう、少ないほうが精度は低そうというイメージがあるかと思いますが、その通りです。件数が多いほうが良いのですが、サイトの規模やテスト期間などに依存します。

多くの企業は、テスト期間はなるべく短く、精度が高くと考えられるのではないでしょうか。そこで難しい話は抜きにして、筆者がオススメしているのは以下３つのルールです。

１） テスト期間は最低１週間、出来れば２週間。１か月以上は行わない
２） テストに必要な件数は「成果指標」で100件以上がベストだが、難しい場合は「直接指標」100件以上で判断をする
３） 有意差に関しては信頼度「80%」以上で見る

それぞれ解説しておきます

１） テスト期間は最低１週間、出来れば２週間。１か月以上は行わない

１週間以上としているのは、平日と週末で動きが変わる可能性があるためです。十分なデータ量が数日で得られたとしても１週間は見るようにしましょう。また１か月以上となってくると季節要因や他の施策の要因が混ざってくる可能性が高いため、あまり長い期間は推奨していません。※ただし、評価するための期間として問題ないと判断出来る場合は、1ヶ月以上行う場合もあります。

上記に関連して、大型連休などは通常と違う動きをする可能性が高いので、テストの実施有無も含め、何を検証したいのか事前にしっかり決めた上で、そのような期間でも評価をするのに問題がない施策なのかを判断しましょう。

２） テストの必要な件数は「成果指標」で100件以上がベストだが、難しい場合は「直接指標」100件以上で判断をする

ABテストの場合はテストパターンごとに100件、通常の施策であれば実施後100件貯まるまでという形になります。しかし、サイト規模やコンバージョンの種類によっては、成果指標100件を得るためにかかる時間が数か月以上になってしまうケースもあります。

その場合は「直接指標」100件で見てみましょう。ただしその際には、成果指標に少なくともマイナスの影響がないかの確認は行っておきましょう。なお、直接指標が1か月で100件未満になるようなページに関しては本来はテストを行うべきではないという風に考えています。その前に集客を優先したほうが良いでしょう。

３）有意差に関しては信頼度「80%」以上で見る

それぞれのパターンで、あるいは、施策の実施前後でどちらが勝ったかを判断するという事になりますが、100%絶対にどちらかが勝つという事は基本的にはありません。検証期間中は勝っていてもその後、負けてしまう可能性もあるわけです。つまり、施策の評価をする上で検証するのは勝つ「確率」になります。それを見るために、信頼度を見ていきます。

細かい計算方法とは省きますが、Google Optimize等をはじめとする主要のABテストツールであれば、これらの数値を確認することが出来ます。ABテストツールを導入していない、あるいは実施前後での期間比較の場合は、信頼度を計算できるサービスやツールを利用すると良いでしょう。

ツール例　https://cinci.jp/report/ab-calculator.html

人によっては95%、99%など意見が割れるところでありますが、 信頼度の精度を上げるためにはデータ件数が必要 となるので、筆者は90%で見ることが多いです（どちらも勝つ確率が一緒の場合は50%になります）。勿論、90%以上が望ましいのですが、80%前後でも直接指標と掛け合わせて良い傾向であれば勝ちの判断をすることもあります。

最後に

施策の評価方法について紹介をしてきました。ぜひ、この２つの考え方を取り入れて施策の評価を行ってみましょう。読んでいる皆さん自身だけではなく、社内で、あるいはお客さんと 統一した理解とルールを持っておくことが大切 です。人によって評価方法が違ってしまえば、共通の判断基準を持つことが出来ず、もめごとの種となってしまいます。

また、 テスト実施後に評価を行うと共に、分析をすることも大切 です。データ件数が十分に足りていれば「デバイス別」「流入元別」「新規・リピート別」での評価をオススメします。改善という結果が出なくても、新たな知見を得られる可能性があります（例：全体では変わらないけど、新規には効果があり、リピーターには効果が無かったなど）。

ぜひ、少しでも結果と知見を得ることを忘れずに施策を実行していただければ嬉しいです！

下記が今回の【小川卓が解説！ウェブサイトの分析プロセスシリーズ】になりますので、
まだご覧になっていないコンテンツがあれば、この機会に合わせてご覧ください！

【小川卓が解説！ウェブサイトの分析プロセスシリーズ】
ウェブサイトの分析プロセス1：分析方針を決めるためにチェックするべき５つのデータ
ウェブサイトの分析プロセス2：仮説を元にウェブサイトを分析する
ウェブサイトの分析プロセス3：改善案の洗い出し方
ウェブサイトの分析プロセス4：ABテストを上手く活用するための２つのポイント
ウェブサイトの分析プロセス5：施策を正しく評価するための方法 ※当記事

冒頭にも書きましたが、今後もこのようなシリーズを展開していく予定ですので、ご期待ください！

小川 卓

株式会社UNCOVER TRUTH

CAO（Chief Analytics Officer）

Webアナリストとしてマイクロソフト・ウェブマネー・リクルート・サイバーエージェント・アマゾンジャパンなどで勤務。解析ツールの導入・運用・教育、ゴール＆KPI設計、施策の実施と評価、PDCAをまわすための取り組みなどを担当。全国各地で講演を毎年40回以上行っている。デジタルハリウッド大学大学院客員教授。 主な著書に『ウェブ分析論』『ウェブ分析レポーティング講座』『マンガでわかるウェブ分析』『Webサイト分析・改善の教科書』『あなたのアクセスはいつも誰かに見られている』『「やりたいこと」からパッと引ける Google アナリティクス 分析・改善のすべてがわかる本』など。

UNCOVER TRUTHでは様々な業界の企業さまのWeb事業を成長させるお手伝いをさせていただいております。Webサイト改善についてご興味がございましたら、ぜひお気軽にお問い合わせください。