ABテストの勝敗を迷宮入りさせないための5つのポイント

施策の効果を数字で比較できるのがABテストの最大のメリット

WEBの現場では日々さまざまな議論が交わされています。

「大きくてキレイな画像で魅力を訴求したい」
「読み込み速度に影響するからページ容量は極力減らしたい」
「とにかく割引額を大きく目立つようにしたい」
「ブランディングの観点から言うと安売り感は出したくない」

各担当者から出される意見はどれも正当で筋が通っているように感じます。しかしこれらは過去の経験や他社の事例、勘や先入観などに基づいている場合が多く、だれもが納得する「決め手」にかけるため、チーム内のコンセンサスをとるのにも一苦労…そんな経験はないでしょうか？

ABテストの一番のメリットは、どの施策がユーザー満足につながるのか、一番効率よく収益をもたらすのか…その答えを数字で比較することができる点です。同時に複数のパターンをテストすることにより、外的要因による影響を同一にすることができるので公平な判断ができるのも魅力です。

テストの勝敗に迷った時に…振り返りたい5つのポイント

しかしチーム内の誰もが納得する結果が出るABテストというのはほんの一握りで、見る人によって勝敗が分かれてしまうテストが実は大多数を占めています。そこで勝敗を迷宮入りさせないために、テスト開始前にチェックしておきたいポイントを5つご紹介します。

1)KPIがきちんと定められているか？

コンバージョンレートが高いのはパターンA、しかし客単価が高いのはパターンB…このように指標によって勝敗が分かれる場合の判断に迷わぬよう、チーム内で事前にKPIをしっかりと定めておきましょう。サイトの最適化には繰り返しテストを行い、PDCAを回すことが重要ですが、テストのたびにKPIが変わるとサイト自体の方向性が迷走してしまうことになりかねません。

2)それぞれのパターンのコンセプトが明確になっているか？

デフォルトパターンとテストパターンであまり差がつかず引き分けのまま…という場合に多いのが、その差がどこにあるのかわからないほど2つのパターンが似ているというケース。明らかに違いの分かるパターンでユーザーの好みや行動を知り、改善の余地があるかを見定めてから細かい部分のチューニングに落とし込んで行くことが改善の近道です。

3)1つのテストで複数の部分を変えていないか？

バナーのキャッチコピーを変更し、さらに文字サイズを大きくするなど複数の変更を加えた場合、勝因がキャッチコピーだったのか、それとも文字のサイズだったのか…それを分析するのは非常に困難です。どの部分をテストするのかを決めたら、それ以外の部分は変えずにシンプルなテストを行いましょう。

4)トラフィックが少ないページで行っていないか？

テスト結果にきちんと有意差が出ているかを検定するためには、ある程度のトラフィックとコンバージョンのデータが必要になります。しかしトラフィックの少ない箇所でテストを行うと、データがなかなか集まらず、何ヶ月もテストを行わなければならなくなってしまいます。改善したときに収益に与えるインパクトが大きい、ある程度のトラフィックがあるページで行うことをお勧めします。

5)オフラインのデータを見落としていないか？

クリエイティブを変更したことによりコンバージョン数は向上したものの、その分電話やFAXでの受注が減ってしまうなどWEB以外の箇所に影響が出る場合もあります。テスト設計の段階でそれらの可能性について考慮し、コンバージョンに関わるあらゆる手段をテストパターン別に分けて集計できるようにしておくことも必要です。

まとめ

テストの結果にはいろいろな解釈があります。様々な角度から分析するために、取得したい数値の洗い出しや、集計手段の取り決めを事前にしっかりと行っておけば、勝敗に頭を悩ませるケースを減らすことができます。ABテストを活用することで、予想もしなかったユーザーの心理や行動が導き出され、サイトの改善がますます楽しくなりますよ！

パーソルビジネスプロセスデザインのWebアナリティクスサービス