（翻訳：Asia Plus 黒川賢吾）

A/Bテストはこの数年に渡って活用されるようになっており、大きな混乱をきたすことなく、タスクを自社のレーダーの配下にて静かにかつ念入りに最適化する方法として考えられている。今後A/Bテストは今までと同様の需要を獲得することができるのだろうか？Optimizely社でモバイルとパーソナリゼーションを統括するOren Cohen氏は、需要は変わらないと考えている。Cohen氏はExchangeWireに対して、A/Bテストのこれまでの道のりと、今後の可能性について言及してくれた。

— 私たちがA/Bテストについて語るときには、通常複数の画像をテストしてパフォーマンス最適化をはかるようなものを考えます。このようなシンプルなやり方でA/Bテストは効果を発揮するのでしょうか？

より様々な方法があります。A/Bテストは決定を下すための方法です。共通点は不確定な問題を解決するという点です。決定を行うということは、他の複数の候補から一つを選ぶという作業を必要としますが、誰もその選択が最善かどうかを分らないため難解です。そのため、単純な推測ではなくデータを集めて、どの選択が効果的かの決定を下すのです。方法は一般的なものですので、組織にとって最も重要な不確定要素の解決に適用された場合に最も効果を発揮します。もし、それが数人の人のみが訪問するウェブサイトであたり、イメージの選択であったりといったものであれば、大きなビジネスインパクトを産まないでしょう。しかしながら、対象が男性もしくは女性服の新製品に関するものであれば、より重要なものとなります。私たちがサポートをしている企業の中にはA/Bテストを利用して、真に戦略的な決定を下している企業もあります。新市場への参入であったり、新商品の投入であったり、新サービスの提供であったりといった内容に至ります。A/Bテストを様々な決定において導入する主な利点としては、それぞれの選択肢の効果性についての指標と定量的な数値が得られる点だと考えられます。

画像適用の例がA/Bテストがどのように作用するかを説明するのに適しているでしょう。しかしながら、それはA/Bテストの可能性の誤解を産むものになりかねません。A/Bテストに関する認識を誤ってもつ企業にとっては、テストが潜在的に提供できる可能性を狭めてしまうこともあります。A/Bテストと多変量解析テストに関しては、交換可能なものなのですが、熟練したスタッフに話をしない限り、これらの二つの違いは非常に大きなものと考えられます。

— A/Bテストは検証を通じて最適化する方法ですが、これによってブランドの最適化戦略の選択肢を狭めることにならないでしょうか？

逆の答えになると思います。A/Bテストを重視している世界的に名の知れている企業の多くが、財務的に改善された結果を導き出しています。数年前、A/Bテストは限られたイノベーターによってのみ利用されている手段でした。現在では、基本的な最適化戦略とされています。

―企業はA/Bテストの結果をいかに最大化できるのでしょうか？

企業の活用方法は多くあるため、簡単ではない質問ですね。企業は検討中の戦略に投資をする前段階においてA/Bテストを活用することで、価値を最大化できます。これは、最適化戦略を担当する人々が、企業の目的や計測数値を熟知して、何が重要かを理解している必要性を示唆します。何回テストを行ったかという点が重要なのではなく、最も重要な質問について突き止めたのかという点が重要です。

そして、ビジネスの目的および重要な検証内容を把握するために、企業はビジネス目的を理解するための最適化ロードマップを作成する必要があります。ビジネス目的が細分化された際には、定量および定性の分析が実施され、問題の根幹を発見し、プライオリティを決定します。最適化戦略に投資をすることはA/Bテストの結果を最大化することにつながります。

いくつかの企業は継続的にABテストを実施しないがために、方向を誤っています。優れた企業であれば、ユーザーの行動には変化があり、季節要素があることを理解しているため、数ヶ月後に再度検証を行い、初期の発見を再確認もしくは変化させています。

— A/Bテストの制限およびどのような代替のソリューションがあるのかについて教えて下さい。

よくある誤解としては、A/Bテストがオンラインチャネルにのみ制限されるという点です。しかしながら、いくつかのクリエイティブにおけるA/Bテストの適用によって、それ以上の効果を発揮します。A/Bテストを上手く活用している企業はオンライン以外においても、疑問の解消にA/Bテストを活用しています。例えば、企業がテレビやビルボードのようなATLに数万ポンドの投資を考えている場合に、画像およびメッセージを使ってウェブサイト上でA/Bテストを実施し、ユーザーエンゲージメントを測定し、その結果をオフライン広告に反映するようなやり方です。

A/Bテストにも当然欠点はあります。まず、動きの早いオンラインの世界におけるA/Bテストはトラフィック量によって統計に変化が生まれる点です。どの程度のトラフィックがあれば十分という指標はなく、これはテストの目的やどの程度の時間を費やせるかといった点によって異なります。

こういった制限内で効果を発揮するための最良の方法は、トラフィック量、コンバージョンレート、統計の重要性と時間などについてのチーム内の知識を高めることです。ビジネスの形態や制限によって最適化ロードマップを管理する必要があります。

— 新たなメディアやパーソナリゼーションの活用が進む中で、A/Bテストは、画一のメッセージを統計可能な規模で配信できた時代と同様の効果を発揮するのでしょうか？

はい、可能です。パーソナリゼーションはコンテンツやメッセージをセグメントや個別のユーザーに対して配信するのに適切なツールです。

しかしながら、非常に多くのページはブロードキャストによるもので、パーソナリゼーションは行われていません。これは世界で最も進化したサイトであるAmazonなどの例でも同様です。ウェブサイトのうち、非常に多くのセクションがブロードキャストであり、A/Bテストの価値は変わることはありません。

例えば、あるカテゴリーについてのフィルタリングや特定のユーザーに特定の商品をハイライトすることはありますが、ページ全体のレイアウト、フィルタリングオプション、主要なナビゲーションなどは全ユーザーに対して同様です。
これらの要素や、全ユーザーに適応できる選択肢に関してA/Bテストを実施することで、ユーザーエンゲージメントや売上に関して大きな改善を見ることができます。拡張性についても同様に機能します。パーソナリゼーションはA/Bテストに新たな機会を与えてくれていると言って良いのではないでしょうか。しかしながら、トラフィック量によるトレードオフや、オーディエンスの多さ、決定までに費やせる時間などによる差異については理解する必要があります。

— A/Bテストの最適化ツールとしての適用性は今後変わっていきますか？

A/Bテストは、不確定要素を持つビジネスの重要な決定を行う際に、非常に重要なツールであり続けるでしょう。

私は、A/Bテストは、動きの速いオンラインの市場において重要な決定ツールであり続けると考えています。多くの不確定要素が存在するため、恒常的な決定が必要となります。A/Bテストの必要性が薄れるとは考えていません。

A/Bテストは数年前に生まれたばかりの新しいコンセプトですが、より多くの企業が利用しています。A/Bテストによって、データを比較的早期に収集することができ、企業はA/Bテストが存在しなかった時代には出来なかった問題の解決を行うことができます。

ABOUT 野下 智之

ExchangeWire Japan 編集長　　

慶応義塾大学経済学部卒。
外資系消費財メーカーを経て、2006年に調査・コンサルティング会社シード・プランニングに入社。

国内外のインターネット広告業界をはじめとするデジタル領域の市場・サービスの調査研究を担当し、関連する調査レポートを多数企画・発刊。

2016年4月にデジタル領域を対象とする市場・サービス評価をおこなう調査会社 株式会社デジタルインファクトを設立。
2021年1月に、行政DXをテーマにしたWeb情報媒体「デジタル行政」の立ち上げをリード。

続きを読む