blog»ABテストとは?基礎と誰もがはまる落とし穴
窪田 知昭
グロース/マーケティングチーム
2023年07月10日
この記事は約11分で読めます。
WebマーケティングにおけるABテストとは、Webサイトのデザインやコンテンツを2つに分けて、どちらが効果的かを比較するコンバージョン率を最適化する方法の一つです。AとBの2つのバージョンを用意し、ユーザーにランダムにどちらかのバージョンを表示して、コンバージョン率や平均滞在時間などの指標を測定します。ABテストの結果を分析することで、ユーザーの行動を理解し、Webサイトの改善に役立てることができます。
この記事では、ABテストを実施するにあたっての基礎、そして成功するためにあらかじめ考慮したい落とし穴と対策に触れていますのでぜひチェックしてみてください。
ABテストはWebマーケティングにおいて効果的な手法として広く活用されています。その理由は、従来よりある勘や経験による主観ではなく客観的な事実から顧客を理解できたり、時代の変化やユーザーの激しい変化に対応するためのリアルタイム性があるからです。
総括すると、ABテストはWebマーケティングにおいて効果的な理由として、時代の変化やユーザーの激しい変化に対応するリアルタイム性があります。迅速な対応と改善を可能にし、データに基づいた意思決定を行うことができ、マーケティング戦略の最適化と効果的なカスタマーエンゲージメントが実現できます。
ABテストは大きく分けると二つの方法があります。一つのURLでテストする方法と、二つのURLでテストする方法です。検証したい内容に合わせて効果的に検証しましょう。
ページ内のある一部の要素を対象にテストします。ファーストビューやCTAボタン、オファーポイントなど、どのような文言や見せ方が効果的かを検証できます。A/Bテストの結果から仮説を証明することで、ビジネスのインサイトを得られます。
2つのページを用意し、構成や内容が大きく異なるページを比較してどちらの方が成果が高いかを検証します。リンクAをオリジナルページに設定し、リンクAのトラフィックを任意の割合でリンクBに自動的にリダイレクトさせ、両ページの成果を比較します。
検証する内容の大きさによって使い分けられますが、より細かくユーザーの反応をチェックするには前者の同一URLが迅速にできるでしょう。同じ目的のLPが複数すでにある場合は、リダイレクトテストでそのユーザー行動の違いを把握するのも迅速な実施ができます。
ABテストを実際に行うには、まずABテストができるツールを選ぶ必要があります。
この記事を読むと、どのようなツールが必要となるか明確になりますのでぜひ最後までご確認ください。
基本的なABテストのフローを紹介します。
実際にこのようなステップを踏んでもABテストが成功するわけではありません。
よりABテストによって成果を得るためには、これから紹介するいくつかのポイントを抑えておくと良いでしょう。
最適なツールの選び方は最後の章でも言及してます(ABテストの落とし穴⑥:最適なツールを選べていない)
ABテストはとても便利な手法ですが、全て万能に応えてくれる魔法ではありません。
二つのクリエイティブがあり、どちらがより効果的かを測る →間違いではないが、「片方を排除し片方を利用する」という選択しか取れない限定的な思考
そもそも短期的なテストとして考えている場合 →ABテストの本質的な価値について知らない可能性があり、継続的に成功を導けない
ABテストでは「ターゲットユーザー像の仮説の正確性」を検証することを軸に進めることが重要です。
もう少しわかりやすくすると、下記はいい例と悪い例です。
前者は一度のテストで検証を終了してしまうケースです。後者であれば、施策優先度も考慮できる上、継続的にテストしていくことを前提としていくことができます。
よく下記のような質問がございます。
・問い合わせ、資料請求などのゴールを設定してABテストをしているが、ゴール自体が小さいのですが? ・このままテストを続けていてよいでしょうか? ・サンプル数がたまってくれば何かよりわかってくるでしょうか?
選ぶデータによっては少ない場合は、得たい結論を導けないことも多くございます。
一つのテストで得たい結果は、多くの場合コンバージョン率(CVR)への影響度でしょう。
しかし、その変更は実際ユーザーに多くの影響を与えています。コンバージョンには影響することはできなくても、ユーザーの意識を少しでも変化することに役立っているかもしれません。
それを知らなければ、一回のテストで終わってしまいます。
厳密には、ABテストによって変化する指標はCV、マイクロCV、インタラクティブ指標を考慮すると良いでしょう。
マイクロCVは、コンバージョンに至る前のCVと関連性の高い指標です。
例えば「カート追加ボタン」「お申し込みするボタン」などへのクリック率です。
そしてインタラクティブ指標とは、滞在時間、直帰率、ファーストビュー離脱率、アテンション度などです。
これらへの影響度を測ることにより、無駄なABテストは一つとしてなくなり、次回の施策を検討するインサイトを得ることができます。
PtengineのようにABテスト機能とヒートマップ機能を保有し連動しているツールであれば、これらの影響度を少ない労力で検証することができます。
ここでもよくある質問を見てみましょう。
・勝った、負けたくらいの判定なのですが、それがわかればいいでしょうか? ・今回の勝ち負けは短期的な要因ではないでしょうか? ・勝ち負けがあまりついていないケースはどのように判断すればいいでしょうか?
これらは統計的な判定基準を知らない、あるいはツール自体に実装がされていないことが原因です。
実際には、表面的に出たCVRの数値だけで検証するのは非常に危険であるほか、いつまで測ればいいか分からず、スピーディな検証サイクルを回すための大きな欠点になってしまいます。
ベイズモデルが実装されたテストツールを用いて、テストの基準を設けることです。
ベイズは小規模なデータ(少ないサンプル)であっても、リアルタイムの情報を常に考慮し未来の勝率を推定できるモデルです。
Ptengineではベイズ統計を用いた勝敗判定システムを持っており、多くの場合1週間以内で結果を得ることができます。
それぞれのパターンに対して勝率という値があり、勝率が95%以上を示すと、そのパターンが今後も明確に優位であるとして判定します。
これはABテスト実施者のかなり多くの人が嵌まっている落とし穴です。
テストにおける限定的な母集団に対して一意の結果を得た場合、今後もその結果を得るためには同じ母集団である必要があります。
例えば、テストパターンAが優位であるとしたテストでは1000人のサンプルで検証したとします。
そのサンプルは、検索エンジン流入が50%、広告流入が50%とします。
そして、検索エンジン流入が50%に対して優位であると判定があったが、広告流入では優位である判定が見られなかったとします。
この場合、テストパターンAが優位であったことを鵜呑みにして広告流入者を増やしてしまうと、全く求めていた結果にならないのは当然です。
これが平均体験の罠です。
一意の結果を得るだけでなく、流入元別、広告別、デバイス別といったディメンション別の結果が参照できるツールを使ってABテストをしましょう。
上記は、全体のCV結果では優位として判定されなかったABテストが、新規/再訪問ディメンションでは再訪問者に対して明確に優位と判定されたケースです。
このように、一見無意味であったと思われるテストでも影響があることが確認できたり、一見効果があったように見えるテストで一部のユーザーでは逆の効果が働いているといった影響も確認ができ、よりコンバージョンを最適化するための情報を得ることができます。
よくある質問の中には、SEOへの懸念に関するものも多くあります。
SEOに悪影響を及ぼすのであれば明確に損失を被ることとなりますが、そうでない場合はABテストを使わないことに対するメリットを放棄することとなり、非常にもったいないことです。
結論は、注意すれば問題ありません。
ABテストの目的はよりユーザーのことを知り、対象のユーザーに有益な情報を提供することです。その視点に立てば、悪影響を及ぼすことにはなりません。
具体的な見解を確認してください。
Googleのサーチ・アドボケートのジョン・ミュラー氏によれば、クローリングを行うGooglebotの流入を指定してテストの対象とするとペナルティの恐れがあるとのことです。Googlebotに対しても他のユーザーグループと同等の扱いをしましょう。
SEOに対して注意すべき点を下記にまとめたのでご確認ください。
クローキング:Botに特別なバージョンやURLに案内すると大きなペナルティとなるため、ABテストをする際にはbotを他のお客様、実際の訪問者と同じように取り扱えば問題ない
リダイレクトの種類:301リダイレクトではなく、302リダイレクト(javascriptを用いたリダイレクト等)を使う。302のリダイレクトは一時的な遷移であることをgoogleに理解させることができる。
URLとコンテンツの重複対応:リスクとしては比較的小さいが、重複するURLやコンテンツで案内している場合はrel=“canonical”属性をつけて、片方のみをインデックス対象にするように指示を出す
ローディングパフォーマンス:トラッキングスクリプトを非同期にする(ただし、この場合はちらつきが生じる)、遅延ローディングをさせる、自社ホストのCDNを活用する、などいくつかの手法がある
実際に適したツールを選ぶことができず、下記が問題となるケースが非常に多いです。
これらはこの記事で言及したことのまとめでもあります。
下記のチェックリストを元に、価値のあるABテストができるツールを選定しましょう。
Ptengineであれば、これらの要求に全て答えることができ、有益なABテストが迅速かつ簡単に実施することができます。
無料でも実施でき、有料版も14日間トライアルできるのでぜひお試しください。