CVRが20％向上 A/Bテストの有用性を証明するジェーシービー流検証フローを紹介
伊奈（Contentsquare Japan） 先ほど、良質なPDCAサイクルを回す工夫として「ユーザー行動がどう変わったか」を確認していると話していましたが、A/Bテストの結果はどう可視化しているのでしょうか。
西野（ジェーシービー） 2022年度の下期から、施策ごとに検証チェックシートを作成しています。シートには、施策実施前に記載する項目として「テストを行う目的」「解決したい問題」「問題を解決するために実施する内容」「仮説：その変更によってどの指標がどのように変化するのか」といった項目があり、施策実施前には必ず仮説の根拠や検証観点を整理しておくようにしています。
そして、施策実施後に記載する項目としては、各指標の実数に加えて「想定通りだった点」「想定外だった点とその考察」「この施策からいえること」などがあり、施策実施前後で左右に分けて、各指標の変化だけでなく、事前の仮説とその検証の結果を並べて確認できるようにしています。このように、仮説とその結果をしっかりつなぎ合わせて、施策実施前後の状況を俯瞰的に確認できるようにすることがナレッジ蓄積の肝だと考えています。
伊奈（Contentsquare Japan） 仮説検証の本質を捉えた素晴らしいシートですね。ナレッジ蓄積の肝について、こう考えられるようになった理由も詳しくお聞かせください。
西野（ジェーシービー） 結果ばかりにフォーカスしてしまうと、最終的にCVRさえ改善していれば、ユーザーの動きに仮説と異なる部分があったとしても誰も気にしなくなってしまうからです。場合によっては、結果にひっぱられて後付けで仮説が歪曲されるようなことも実際にありました。
しかし、本当に価値のある示唆が得られるのは、得てして仮説と異なる結果が出てきたときだといえます。そのギャップにこそ、担当者が気づけていないユーザーの行動やインサイトが隠れているからです。そのため、「仮説は必ず事前に・詳細に記述する」「結果は仮説とのギャップを軸に語る」を心がけています。このような形で検証チェックシートの運用を既に1年半ほど続け、100施策以上のナレッジが蓄積できています。
伊奈（Contentsquare Japan） 「Contentsquare」の活用と、検証チェックシートの作成を始めてから得た発見や手応えはありますか？
西野（ジェーシービー） 「JCB一般カード」のポイントサービス訴求のA/Bテストは、「Contentsquare」がなければ得られなかった示唆があった施策だと思います。
JCBカードでは、JCBブランドのクレジット・デビットカード利用で獲得したOki DokiポイントをAmazon.co.jpでの買い物に使える「パートナーポイントプログラム」というサービスを提供しています。同プログラムは、特別な手続きを踏むことなく、Amazon.co.jpの決済画面上でポイント利用ができるのですが、改善前のLPではその点に触れずに、ポイント還元率といった「お得感」の訴求のみにとどまっており、メンバーから「ポイント消費の簡便さも訴求する価値があるのではないか」と仮説が立てられました。
西野（ジェーシービー） そこで、利用率を踏まえてAmazon.co.jpの訴求位置を上部に変更しつつ、お得感の訴求だけでなく「交換手続き不要」の旨をLPに追記する施策を実施したのですが、結果はCVRも次ページ遷移率も向上しませんでした。「Contentsquare」がなければこれ以上のことはわからず、この施策は「負け」で終わっていたのですが、検証チェックシートと「Contentsquare」を使うことで、単に「負け」では済まされない2点のユーザー行動の変化に気づけたのです。
1点目は、UI変更後の当セクションの閲覧時間が、UI変更前に比べて約6倍長くなっていたことです。この事実から、UI変更は間違いなくユーザーの関心にヒットしたことがわかりました。2点目は、当セクションへのスクロール率が、施策実施前と比べて大幅に低下しており、ここまでたどり着くユーザーが大きく減少していたことです。この理由を突き詰めたところ、当欄よりも上部に存在する要素のUI変更にありました。つまり、この施策とは無関係なところに原因があったのです。
この分析結果を踏まえ、多くのユーザーに「パートナーポイントプログラム」の説明を見ていただけるよう、UIは変更後のものを活かしつつ、当セクションをLP上部に移動する施策を実行しました。すると、CTR・CVRともに20％以上向上しました。
伊奈（Contentsquare Japan） 「LPの訪問者数や滞在時間が長くなった＝成果があった」と判断するのではなく、「訪問者のうち、何％がこのセクションを閲覧したか」まで見えると、具体的にどうすべきか見通しを立てやすくなりますよね。
しかし、検証チェックシートの記載内容もクオリティーが高く、驚きました。このシートを作成するにはWEBマーケティングの知識も必要だと思いますが、ジェーシービー様ではどのような教育を行っているのでしょうか。
西野（ジェーシービー） 2023年度から、各事業部に対してWEBマーケティングに関する研修を実施しています。初期は基礎編として、WEBマーケティングの基本的な考え方や基礎知識に加え、「Contentsquare」など各種分析ツールの使い方に関する研修を行いました。
また直近では、比較的高いWEB分析スキルを有する一部部署に対して、自ら分析・課題抽出した上で改善施策を実施し、検証チェックシートの記入までしてもらう応用編の研修を行いました。各事業部が独立して分析・施策立案ができるところを目標としています。
