こんにちは、ツバサです。
チームの打ち合わせで「商品画像でABテストしよう」と提案された。ABテストという言葉は聞いたことがあったけど、具体的にどうやるのかわからなかったので調べてみた。
ABテストとは
ひとことで言うと、WebサイトやWeb広告の要素を2パターン用意して、同じ条件で一定期間ユーザーに見せて、どちらが成果が高いかを比較する手法のこと。英語では「A/B Testing」と書く。
たとえば商品ページのメイン画像を「白背景の物撮り（パターンA）」と「モデルが着用している写真（パターンB）」の2種類で表示して、どちらのほうが購入率（CVR）が高いかを測る、という具合だ。
Shopifyの公式ブログにもABテストの基本が載っていて、ECサイトの改善手法として広く使われていることがわかった。
大事なのは「同じ期間に」「ランダムに」2パターンを表示すること。先週はAで今週はB、という切り替え方だと、時期の違い（セールの有無や曜日の差）が影響して正確な比較にならない。アドエビスのABテスト解説でもこの点が注意事項として書かれていた。
EC実務で出てくる場面
ECサイトではABテストが活躍する場面がたくさんある。僕が遭遇したケースを書いておく。
商品画像のABテスト
これが僕のきっかけ。商品のメイン画像を変えるだけでCVRが変わることがある。これからのABテスト解説記事でも、ECサイトでは商品画像のテストが特に効果的だと書いてあった。背景色の違い、アングルの違い、人物の有無など、テストできる要素は多い。
「カートに入れる」ボタンの最適化
ボタンの色を変える（緑→オレンジ）、文言を変える（「カートに入れる」→「今すぐ購入する」）といったテストも定番だ。カラーミーショップの記事にも、ボタンまわりのABテスト事例が紹介されていた。
広告クリエイティブのテスト
Google広告やSNS広告では、広告の画像やテキストを複数パターン登録して、どれが一番クリックされるかを自動で比較してくれる機能がある。Google広告のヘルプにもテスト機能の説明が載っている。厳密にはプラットフォーム側が最適化してくれるので、自分で細かく設計する必要はない。
覚えておきたいポイント
1回のテストで変える要素は1つ
画像とボタンの色を同時に変えてしまうと、どちらの変更が結果に影響したのかわからなくなる。ABテストの基本は「1回に1要素だけ変える」こと。複数の要素を同時にテストしたいなら、多変量テスト（MVT）という別の手法を使う。
十分なデータ量が必要
数日で「Aのほうがいい」と判断すると、たまたまの差を見誤る可能性がある。Gyro-nのABテスト記事にも書いてあったが、統計的に有意な結果を得るには、最低でも1〜2週間、アクセスが少ないサイトなら1ヶ月以上のデータが必要だ。
「勝ったパターン」を次の基準にする
ABテストは1回やって終わりではない。勝ったパターンを新しい基準にして、次のテストを繰り返す。画像でAが勝ったら、次はAの画像をベースにボタンの色を変えてテストする、という具合だ。小さな改善を積み重ねていくのがABテストの考え方になる。
