ABテストとは？基礎と誰もがはまる落とし穴

ABテストとは

WebマーケティングにおけるABテストとは、Webサイトのデザインやコンテンツを2つに分けて、どちらが効果的かを比較するコンバージョン率を最適化する方法の一つです。

AとBの2つのバージョンを用意し、ユーザーにランダムにどちらかのバージョンを表示して、コンバージョン率や平均滞在時間などの指標を測定します。

ABテストの結果を分析することで、ユーザーの行動を理解し、Webサイトの改善に役立てることができます。

この記事では、ABテストを実施するにあたっての基礎、そして成功するためにあらかじめ考慮したい落とし穴と対策に触れていますのでぜひチェックしてみてください。

現代WebマーケティングでABテストが必要である理由

ABテストはWebマーケティングにおいて効果的な手法として広く活用されています。その理由は、従来よりある勘や経験による主観ではなく客観的な事実から顧客を理解できたり、時代の変化やユーザーの激しい変化に対応するためのリアルタイム性があるからです。

1. 時代の変化への迅速な対応: Webマーケティングは急速に変化する環境で行われます。新しいトレンドやテクノロジーが登場し、競争が激化します。ABテストは、リアルタイムに異なるバージョンのWebページやコンテンツをテストし、最も効果的なアプローチを特定することができます。
   これにより、マーケティング戦略を迅速に改善し、時代の変化に対応することができます。
2. ユーザーの激しい変化への対応: インターネット上のユーザー行動は非常に変動しやすいです。嗜好やニーズは個人やグループによって異なるため、効果的なマーケティング戦略を見つけることは難しいです。ABテストは、異なるバージョンのコンテンツをランダムにユーザーに表示し、その反応を測定することで、最も効果的なアプローチを特定します。ユーザーのニーズや好みに合わせた最適なコンテンツを提供することができるため、効果的なカスタマーエンゲージメントが可能となります。
3. データドリブンな意思決定: ABテストは、実際のデータに基づいて意思決定を行うことができます。定量的な結果を取得し、異なるバージョンのパフォーマンスを比較することで、客観的な評価が可能です。これにより、主観的な意見や仮説に頼ることなく、データに基づいた改善が行えます。また、ABテストは結果をリアルタイムで収集するため、迅速かつ正確な結果を得ることができます。

総括すると、ABテストはWebマーケティングにおいて効果的な理由として、時代の変化やユーザーの激しい変化に対応するリアルタイム性があります。迅速な対応と改善を可能にし、データに基づいた意思決定を行うことができ、マーケティング戦略の最適化と効果的なカスタマーエンゲージメントが実現できます。

ABテストの主な種類

ABテストは大きく分けると二つの方法があります。一つのURLでテストする方法と、二つのURLでテストする方法です。検証したい内容に合わせて効果的に検証しましょう。

同一URLでのABテスト

ページ内のある一部の要素を対象にテストします。ファーストビューやCTAボタン、オファーポイントなど、どのような文言や見せ方が効果的かを検証できます。A/Bテストの結果から仮説を証明することで、ビジネスのインサイトを得られます。

違うURLにリダイレクトで振り分けるリダイレクトテスト

2つのページを用意し、構成や内容が大きく異なるページを比較してどちらの方が成果が高いかを検証します。リンクAをオリジナルページに設定し、リンクAのトラフィックを任意の割合でリンクBに自動的にリダイレクトさせ、両ページの成果を比較します。

検証する内容の大きさによって使い分けられますが、より細かくユーザーの反応をチェックするには前者の同一URLが迅速にできるでしょう。同じ目的のLPが複数すでにある場合は、リダイレクトテストでそのユーザー行動の違いを把握するのも迅速な実施ができます。

ABテスト実施プロセス

ABテストを実際に行うには、まずABテストができるツールを選ぶ必要があります。

この記事を読むと、どのようなツールが必要となるか明確になりますのでぜひ最後までご確認ください。

基本的なABテストのフローを紹介します。

1. ツールを選定する
2. ツールをインストールする
3. ツールに合わせた設定を行う
4. 企画し計画する
5. 施策をツールに反映する
6. 配信する
7. 一定期間サンプルが溜め分析する
8. 得たインサイトから次の施策を検討する

実際にこのようなステップを踏んでもABテストが成功するわけではありません。

よりABテストによって成果を得るためには、これから紹介するいくつかのポイントを抑えておくと良いでしょう。

最適なツールの選び方は最後の章でも言及してます(ABテストの落とし穴⑥：最適なツールを選べていない)

ABテストの落とし穴①：目的を間違える

ABテストはとても便利な手法ですが、全て万能に応えてくれる魔法ではありません。

クリエイティブの勝敗のみを求めている

二つのクリエイティブがあり、どちらがより効果的かを測る →間違いではないが、「片方を排除し片方を利用する」という選択しか取れない限定的な思考

一回のテスト結果で止まってしまう

そもそも短期的なテストとして考えている場合 →ABテストの本質的な価値について知らない可能性があり、継続的に成功を導けない

対策

ABテストでは「ターゲットユーザー像の仮説の正確性」を検証することを軸に進めることが重要です。

もう少しわかりやすくすると、下記はいい例と悪い例です。

• 悪い例✖️：その変更を行うとコンバージョンレートは上がるか
• 良い例⭕️：なぜそのように変更し、誰に対してどのように影響すると見込まれるか

前者は一度のテストで検証を終了してしまうケースです。後者であれば、施策優先度も考慮できる上、継続的にテストしていくことを前提としていくことができます。

ABテストの落とし穴②：適切な目標設定の仕方を理解していない

ゴールデータが少なすぎて結論が出せない

よく下記のような質問がございます。

・問い合わせ、資料請求などのゴールを設定してABテストをしているが、ゴール自体が小さいのですが？ ・このままテストを続けていてよいでしょうか？ ・サンプル数がたまってくれば何かよりわかってくるでしょうか？

選ぶデータによっては少ない場合は、得たい結論を導けないことも多くございます。

対策

一つのテストで得たい結果は、多くの場合コンバージョン率(CVR)への影響度でしょう。

しかし、その変更は実際ユーザーに多くの影響を与えています。コンバージョンには影響することはできなくても、ユーザーの意識を少しでも変化することに役立っているかもしれません。

それを知らなければ、一回のテストで終わってしまいます。

厳密には、ABテストによって変化する指標はCV、マイクロCV、インタラクティブ指標を考慮すると良いでしょう。

マイクロCVは、コンバージョンに至る前のCVと関連性の高い指標です。

例えば「カート追加ボタン」「お申し込みするボタン」などへのクリック率です。

そしてインタラクティブ指標とは、滞在時間、直帰率、ファーストビュー離脱率、アテンション度などです。

これらへの影響度を測ることにより、無駄なABテストは一つとしてなくなり、次回の施策を検討するインサイトを得ることができます。

PtengineのようにABテスト機能とヒートマップ機能を保有し連動しているツールであれば、これらの影響度を少ない労力で検証することができます。

ABテストの落とし穴③：統計的優位性を知らずにテストする

ここでもよくある質問を見てみましょう。

・勝った、負けたくらいの判定なのですが、それがわかればいいでしょうか？ ・今回の勝ち負けは短期的な要因ではないでしょうか？ ・勝ち負けがあまりついていないケースはどのように判断すればいいでしょうか？

これらは統計的な判定基準を知らない、あるいはツール自体に実装がされていないことが原因です。

実際には、表面的に出たCVRの数値だけで検証するのは非常に危険であるほか、いつまで測ればいいか分からず、スピーディな検証サイクルを回すための大きな欠点になってしまいます。

対策

ベイズモデルが実装されたテストツールを用いて、テストの基準を設けることです。

ベイズは小規模なデータ(少ないサンプル)であっても、リアルタイムの情報を常に考慮し未来の勝率を推定できるモデルです。

Ptengineではベイズ統計を用いた勝敗判定システムを持っており、多くの場合1週間以内で結果を得ることができます。

それぞれのパターンに対して勝率という値があり、勝率が95%以上を示すと、そのパターンが今後も明確に優位であるとして判定します。

ABテストの落とし穴④：平均体験の罠を考慮できていない

これはABテスト実施者のかなり多くの人が嵌まっている落とし穴です。

テストにおける限定的な母集団に対して一意の結果を得た場合、今後もその結果を得るためには同じ母集団である必要があります。

例えば、テストパターンAが優位であるとしたテストでは1000人のサンプルで検証したとします。

そのサンプルは、検索エンジン流入が50%、広告流入が50%とします。

そして、検索エンジン流入が50%に対して優位であると判定があったが、広告流入では優位である判定が見られなかったとします。

この場合、テストパターンAが優位であったことを鵜呑みにして広告流入者を増やしてしまうと、全く求めていた結果にならないのは当然です。

これが平均体験の罠です。

対策

一意の結果を得るだけでなく、流入元別、広告別、デバイス別といったディメンション別の結果が参照できるツールを使ってABテストをしましょう。

上記は、全体のCV結果では優位として判定されなかったABテストが、新規/再訪問ディメンションでは再訪問者に対して明確に優位と判定されたケースです。

このように、一見無意味であったと思われるテストでも影響があることが確認できたり、一見効果があったように見えるテストで一部のユーザーでは逆の効果が働いているといった影響も確認ができ、よりコンバージョンを最適化するための情報を得ることができます。

ABテストの落とし穴⑤：SEOへの影響

よくある質問の中には、SEOへの懸念に関するものも多くあります。

SEOに悪影響を及ぼすのであれば明確に損失を被ることとなりますが、そうでない場合はABテストを使わないことに対するメリットを放棄することとなり、非常にもったいないことです。

結論は、注意すれば問題ありません。

ABテストの目的はよりユーザーのことを知り、対象のユーザーに有益な情報を提供することです。その視点に立てば、悪影響を及ぼすことにはなりません。

具体的な見解を確認してください。

対策

Googleのサーチ・アドボケートのジョン・ミュラー氏によれば、クローリングを行うGooglebotの流入を指定してテストの対象とするとペナルティの恐れがあるとのことです。Googlebotに対しても他のユーザーグループと同等の扱いをしましょう。

SEOに対して注意すべき点を下記にまとめたのでご確認ください。

クローキング：Botに特別なバージョンやURLに案内すると大きなペナルティとなるため、ABテストをする際にはbotを他のお客様、実際の訪問者と同じように取り扱えば問題ない

リダイレクトの種類：301リダイレクトではなく、302リダイレクト(javascriptを用いたリダイレクト等)を使う。302のリダイレクトは一時的な遷移であることをgoogleに理解させることができる。

URLとコンテンツの重複対応：リスクとしては比較的小さいが、重複するURLやコンテンツで案内している場合はrel=“canonical”属性をつけて、片方のみをインデックス対象にするように指示を出す

ローディングパフォーマンス：トラッキングスクリプトを非同期にする(ただし、この場合はちらつきが生じる)、遅延ローディングをさせる、自社ホストのCDNを活用する、などいくつかの手法がある

ABテストの落とし穴⑥：最適なツールを選べていない(まとめ)

実際に適したツールを選ぶことができず、下記が問題となるケースが非常に多いです。

• 一つのテストに対してゴールが一つしか検証できない
• テスト実施にコーディングが必要ですぐに実施できない
• ベイズ統計で優位検定できず、検証期間が長くなってしまう(大量のサンプルが必要)
• テスト結果の分析がほとんどできず、平均体験の罠に気付けない
• ヒートマップが見れず、なぜそのような結果になったか示唆が得られない

これらはこの記事で言及したことのまとめでもあります。

下記のチェックリストを元に、価値のあるABテストができるツールを選定しましょう。

• 目標設定は最適化、複数設定で評価可能か（最終CV、中間指標、エンゲージメント）
• 結果の統計はベイズ統計で行われており、頻繁な更新評価が可能か
• 平均体験の罠を回避できるか（セグメント別テスト評価）
• 仮説の候補は出しやすいか（テスト前のヒートマップ、テスト中のヒートマップ）
• ノーコード編集の充実（テスト実施のハードルの低さ）

Ptengineであれば、これらの要求に全て答えることができ、有益なABテストが迅速かつ簡単に実施することができます。

無料でも実施でき、有料版も14日間トライアルできるのでぜひお試しください。

Ptengineに登録して無料でABテストを始める