A/Bテストがグロースに不可欠な理由

前記事のまとめ

以前の記事ではユーザー体験を軸とした成長モデルについて言及いたしました。

顧客の継続利用に重心を置くことで継続的な成長を目指すモデルです。

そしてユーザー体験を改善する方法については、PDCAよりよく理解しやすいプロセスのモデル、IHA（INSIGHT-HYPOTHESIS-ACTION）　を紹介しました。未読の方はぜひ読んでみてくださいね。

簡単なモデルで業務フローに落としやすく、ビジネスを進める上で大切なことが詰まっているモデルです。

本日は、より改善を効率化させる「A/Bテスト」の必要性と、すぐに始める方法について記事にしましたので、ぜひ最後までご覧いただき、アクションにまで落としていきましょう。

日常では“正しい選択”と判断するのは不可能

Web解析でユーザーの行動を分析し実際のアクションにつなげる際、皆さんはご自身の直感的な理解で改善方法を提案した経験はありませんか？

例えば、チームはAのバージョンを検証したいと考えていますが、あなた自身はBのバージョンの方がより大きな改善であろうと考えています。

そのように意見が一致しない場合、論争になる可能性がありますよね。

結果的にチームはAのバージョンを採用するのですが、悲しいことに、このバージョンAが必ずしもバージョンBより良い結果をもたらすことを誰も保証できないのです。

実際の生活から例を挙げてみましょう。

シーン①日曜日の朝　A：コーヒーを飲む or B：オレンジジュースを飲む

シーン②朝食後　A：自宅で勉強 or B：映画を観る

シーン③お昼　A：自宅で自炊 or B：友人と外食

シーン④午後　A：サッカーする or B：家で休む

シーン⑤夕方　A：明日の準備 or B：居酒屋で飲む

現実な生活では、行動を選択する際に1つしか選択できません。1つ選択したら他の選択はできなくなります。

「もし、コーヒーでなくオレンジジュースを選択したら……」といったようなことを考えたことはありますか？

皆さんの人生の一連の出来事で、すべてもう一方の選択にした場合、今の生活にどのように影響が及ぶでしょうか。

その選択をすることによって、どんな結果に至るのかは誰にも分かりません。間違って選択しまったら、恐ろしい結果に陥る可能性もあります。

また、どんな結果になったとしても、事実を変えることはできません。選択する前にどれほど慎重に検討したとしても、必ずいい結果が出るということは誰も保証はできません。

A/Bテストはロジカルに「並行世界」を検証できる

最初に挙げた例に戻ります。チームでバージョンA、Bについて議論し、どちらも理想ではない結果に至る可能性があります。

そこで、良い方法を冷静になって考えれば考えるほど「A/Bテスト」の必要性が露見されます。

A/Bテストはユーザー体験を改善するために最も科学的な方法であり、サイト改善の「並行世界」が実現できます。

指定された一部のユーザーグループに対し、同時に2つ異なるバージョンを展開し、結果を比較することができます。

業務目標に沿って、より多くコンバージョンを達成すれば、最適な改善であった、と定量的にロジカルに証明できるわけです。IHA（Insight-Hypothesis-Action）のActionで、A/Bテストを継続的に実施することによって、回り道を極力なくした、短時間かつ迅速なCVRの改善ができますし、不毛で不要な論争も回避できるでしょう。

Ptengineで実現するA/Bテスト

PtengineはWeb解析ツールだと思っていませんか？驚かないでください、Ptengineはこの「並行世界」を実現することができます！

数か月前から、Ptengineがリリースした新しい機能「エンゲージ」でA/Bテストなどのアクションを迅速に実行することができるようになりました。 Ptengineにログインした後、こちらのメニューより設定することができます。

まだ設定されていないようでしたら、まずはエンゲージ作成というボタンから始めてみましょう。

A/Bテスト機能を利用することで、さまざまな仮説を検証できます。

実際にA/Bテストで仮説を検証

A/Bテストを通じて、仮設検証した事例を紹介させていただきます。

Ptengineの中国サイトをリニューアルする際に

A：トップページのファーストビューをスクロールし、セカンドビューの「製品バリュー」へ遷移する前に、お客様のユーザーボイスのコンテンツを一回挟んだらどうか。

B：ファーストビューのキービジュアルの次は製品バリューにすべきか

という違ったバージョンについて議論が起こりました。

私の意見：ユーザーは、このサイトは自分にどのように貢献できのかについて早く知りたい。「キービジュアル」の次にすぐユーザーボイスのコンテンツを表示すると、いい証言でも胡散臭いと感じさせてしまう恐れがあり、ユーザー体験が大幅に影響される。

違う意見（実は私のボス）：ユーザーボイスこそ、製品バリューを最大限に反映しているものである。目立つ位置に配置する必要がある。（結論として、ボスの意見に従ってレイアウトを作成されました）。

しかし、私は納得できておらず、自分の意見も検証したいので、常にヒートマップを確認していました。訪問ユーザーは「ユーザーボイス」の位置で多く離脱した事実がありました（下記の画像を参照ください）。

• INSIGHT：ユーザーは「ユーザーボイス」での離脱が多く、次の「製品バリュー」とさらに次の「機能紹介」はほとんど離脱していない。
• HYPOTHESIS：
  • ユーザーは一方的な自慢と感じてしまい、疎ましく思われてしまう可能性はないか。
  • ユーザーはこの製品で何を解決できるかに興味があり、機能説明に関心を持っているのではないか。
  • 「ユーザーボイス」を下に移し、取引先のロゴを掲載部分と組み合わせることで情報獲得効率を向上させ、離脱率を下げられるのではないか
• ACTION：エンゲージ機能を利用し、訪問ユーザー50％に元のHPのレイアウトを表示し、残り50％に私の仮説に基づいて表示し、レイアウトのA/Bテストで仮説検証を行いました。

さて、元のバージョンか、私のバージョン、どちらが結果として優れていたでしょう。

仮説を検証したいというのも目的としてありますが、ゴールとしてはやはり登録数です。

結果：一定期間検証し、私の仮説は負けました。つまり私のバージョンは元のバージョンより登録数が少なかったのです。

エンゲージ A/Bテストによる結果のデータは、私のバージョンのゴール率は6.87％であり、元のバージョンの登録率が8.5%。1.63％の差がありました。

このA/Bテストを実行しなければ、ヒートマップから得たインサイトだけでチームを説得し、私の意見に沿ったHPレイアウトになっていた恐れがあります。

100,000人訪問者ごとに、 1630人のリードを失っていることになります。

もしくは数十社のビッグ案件を逃していたことになり、数千万円の損失に至る可能性もあります。これでその年度、もしくは次の年度、次の次の年度…..無限に損失が発生してしまっているでしょう。想像するだけでも恐ろしいですね。。。

まとめ：

• 改善モデルの３つ要素：INSIGHT→HYPOTHESIS→ACTIONをちゃんと実行すれば、勘の運用や怠慢な業務姿勢を改善することができる。
• Ptengineをちゃんと活用して、ビジネスに本当に役を立つソリューションとして利用すれば、迅速かつユーザーのインサイトに寄り添った改善習慣を身に付けることができる。

Ptengineのヒートマップをすでに利用しているかと思いますが、エンゲージはいかがでしょう？

ログインした後にメニューからエンゲージをクリックし、すぐに実践してみましょう。もしご不明点があれば、右下のチャットアイコンより、お気軽にお知らせください。