コンテンツにスキップ

ECのインクリメンタリティテスト:ホールドアウト、地域テスト、リフトの読み方

9 分で読めます
PR

Priya Raghunathan

Eコマース・パフォーマンスマネージャー

インクリメンタリティテストは、アトリビューションでは答えられない問いに答えます。広告がなければ発生しなかった売上はどれだけあるのか、という問いです。アトリビューションのレポートは、どの広告が注文の貢献を得たかを教えてくれます。管理されたテストでは、広告を見た人や地域と、見なかった比較可能な人や地域を比べ、その差が広告が実際に上乗せした分になります。

結論: インクリメンタリティテストは、広告を見たグループと、広告を見ないようにしたコントロールグループを比べて、広告が生んだ追加のコンバージョンを測ります。よく使われる設計は、オーディエンスのホールドアウト、地域テスト、そしてMetaのコンバージョンリフトやGoogle広告のコンバージョンリフトのような媒体のリフト測定の3つです。結果は1つの数字ではなく幅として読み、行動する前にサンプルサイズを確認しましょう。

MetaとShopifyの数字が合わない理由の記事は、この記事の出発点で終わっています。Shopifyのラストクリックの数とMeta自身の数は、Metaの本当の貢献の上下の範囲を示し、そのどこにあるかはテストでしかわかりません。テストなしで使えるストア全体の見方は、MERとROASをご覧ください。

インクリメンタリティテストは何を測るのか?

インクリメンタリティテストが測るのは、広告の因果効果です。広告を見たグループのコンバージョンから、そのグループが広告がなくても行っていたはずのコンバージョンを引いたもので、後者はコントロールグループから推定します。

アトリビューションとインクリメンタリティは、別の問いに答えます。

  • アトリビューション: 発生した注文のうち、どの接点に貢献を割り当てるか?広告がなくても発生していた注文も含め、すべての注文がどこかに割り当てられます。
  • インクリメンタリティ: 広告のおかげで発生した注文はどれだけか?もともと購入するつもりだった人の注文はゼロと数えます。

この2つの差が最も大きくなるのは、すでに購入に近い人に広告が届く場面です。リターゲティング、ブランド名の検索広告、既存顧客を狙ったキャンペーンなどです。媒体ごとのコンバージョンを合計するとストアの注文数を超えてしまう理由もこれで説明でき、広告媒体によるコンバージョンの二重計上のガイドで解説しています。

インクリメンタリティテストの主な設計は?

DTCブランドが実際に使える設計は3つあり、何を分けるか、誰が分析するか、どんなデータが必要かが異なります。

オーディエンスのホールドアウト。 ターゲットオーディエンスのうち、ランダムに選んだ一部に広告を見せないようにします。それ以外はすべて同じです。人をランダムに割り当てるので、コントロールグループは、広告を見たグループが広告なしでどう行動していたかの公平な推定になります。誰に広告が表示されるはずだったかを知っているのは媒体だけなので、分割は媒体が行う必要があります。

地域テスト。 一部の地域では広告を配信し、ほかの地域では配信しません。または、一部の地域でチャネルを止めます。テスト前に似た動きをしていたテスト地域とコントロール地域を選び、売上を比べます。地域テストは自社ストアのデータを使え、どのチャネルにも使え、媒体の協力も不要です。その代わり、数千人の人ではなく数か所の地域しかないので、結果のばらつきが大きくなります。

媒体のリフト測定。 MetaとGoogleはどちらも、ホールドアウトの管理版を提供しており、自社のシステム内で実施し、自社で分析します。詳しくは次のセクションで説明します。

4つ目の方法として、2週間すべての人に対してチャネルを止め、その前の2週間と比べるやり方もあります。手軽ですが、根拠としては弱い方法です。季節要因、セール、ほかのチャネルが同時に変わるので、前後の期間を比較できません。大まかな確認にとどめましょう。

インクリメンタリティテストの設計の比較:オーディエンスのホールドアウト、地域テスト、媒体のリフト測定
インクリメンタリティを確かめる3つの方法

MetaとGoogleのリフト測定で何ができるか?

どちらの媒体も、コンバージョンリフトを、広告を見るグループと見ないグループによるランダム化実験として説明していますが、利用条件や要件が異なるので、計画する前に最新のドキュメントを確認しましょう。

Metaのコンバージョンリフト。 MetaのMarketing APIのリフト調査ガイドは、広告を見るランダムなテストグループと、広告を見ないコントロールグループについて説明しており、各グループへの割り当てはMetaが行います。2つのグループのコンバージョンと売上を比べ、キャンペーンが生んだ増加分を求めます。同じページには「Conversion Lift Measurement is currently limited」(コンバージョンリフト測定は現在限定的に提供)と書かれており、利用するにはMetaの担当者に連絡するよう案内されています。内訳の結果は、テストグループとコントロールグループのコンバージョンが合わせて100件以上ある場合にのみ表示されます。

Google広告のコンバージョンリフト。 Googleのユーザーに基づくコンバージョン リフト測定のヘルプページには、すべてのアカウントで利用できるわけではないと書かれており、Googleのアカウント担当者に問い合わせるよう案内されています。現時点で記載されている内容は次のとおりです。

  • 対象のキャンペーンタイプには、ディスプレイ、検索ネットワーク、動画、デマンド ジェネレーション、アプリ、P-MAXが含まれます(一部除外あり)。
  • 1,000件以上の測定コンバージョンと、最低5,000米ドルのキャンペーン予算。
  • オーディエンスの1%から50%をホールドバックに充てます。
  • 調査期間は最短7日ですが、Googleは通常14日以上を推奨しています。
  • 調査の検出力は50%から95%で表示され、Googleは90%以上を目指すよう勧め、50%から90%の結果は傾向を示すものとして扱います。

Googleは、地域で分割する地域に基づくコンバージョン リフト測定も提供しています。リフト測定の種類の比較では、地域による分割はユーザーに基づく分割よりばらつきが大きく、通常はより多くの予算が必要だが、オンラインとオフラインの両方のコンバージョンに対応していると説明されています。

媒体のリフト測定は、その媒体の広告を、その媒体自身のコンバージョントラッキングで測ります。広告がほかの場所の売上にどう影響したかはわかりませんし、手法がしっかりしていても、媒体が自分の成果を自分で採点していることに変わりはありません。

リフトの結果はどう読むか?

リフトの結果を読むとは、2つのコンバージョン数を、増分コンバージョン、相対リフト、増分コンバージョン単価という3つの数字に変換することです。

以下は架空のオーディエンスのホールドアウトです。数字は計算が合うように選んだもので、実際の調査から取ったものではありません。

  • テストグループ:90万人、購入2,700件、購入率0.30%
  • コントロールグループ:10万人、購入240件、購入率0.24%
  • テストグループへの広告費:€40,000
  • 媒体がキャンペーンに割り当てた購入:1,800件

計算は次のとおりです。

  1. 広告がない場合に見込まれる購入数=コントロールの購入率 × テストグループの人数=0.24% × 900,000=2,160
  2. 増分購入数=2,700 − 2,160=540
  3. 相対リフト=(0.30% − 0.24%) ÷ 0.24%=25%
  4. 増分購入単価=€40,000 ÷ 540=€74.07

これを割り当てられた数字と比べてみましょう。割り当てられた1,800件の購入で見ると、媒体上の購入単価は€22.22です。この例では、そのうち増分だったのは540件、つまり30%だけでした。残りは広告がなくても発生していました。これはキャンペーンが失敗したという意味ではありません。予算の判断に使うべき数字は€74.07で、それをCAC回収期間の上限や初回注文の利益と比べるべきだという意味です。

地域テストでも、地域ごとの売上を使って同じ考え方をします。これも架空の例ですが、テスト前の8週間で、テスト地域の売上が€200,000、コントロール地域が€250,000で、比率は0.8だったとします。テスト期間中、新しいチャネルをテスト地域だけで配信し、テスト地域の売上は€230,000、コントロール地域は€260,000でした。見込まれるテスト地域の売上は0.8 × €260,000=€208,000なので、増分売上は€22,000です。広告費€10,000に対して、増分ROASは2.2になります。限界利益率が45%なら、€22,000の売上が残す利益は€9,900で、広告費をわずかに下回ります。このテストは、本物のリフトと小さな赤字を同時に示しています。リフトの結果の横にPOASのような利益ベースの指標を置くべきなのはこのためです。

サンプルサイズがそれほど重要なのはなぜか?

サンプルサイズによって、リフトの数字の周りの幅がどれだけ広いかが決まります。コントロールグループが小さいと、その幅がリフトそのものより大きくなることもあります。

ホールドアウトの例では、コントロールグループの購入は240件でした。購入数は偶然によって変動します。この規模の数なら、おおよその95%の範囲は、平方根(√240 ≈ 15.5)の約2倍を上下に取った幅で、およそ210から270になります。両端で同じ計算をしてみましょう。

  • コントロールが少ない場合(210):見込まれる購入数1,890、リフト約43%
  • コントロールが多い場合(270):見込まれる購入数2,430、リフト約11%

つまり、この例の正直な読み方は「25%」ではなく「約11%から43%のどこか」です。この大まかな確認はテストグループのばらつきを無視しており、媒体自身の統計の代わりにはなりませんが、問題の大きさはわかります。ここから導かれる実務上のルールは次のとおりです。

  • 始める前に規模を計画する。 媒体の検出力の見積もりや、サンプルサイズの計算ツールを使いましょう。十分なコンバージョン数に届かないなら、短く安いテストより、期間を延ばすか、ホールドバックを増やすほうが効果があります。
  • テスト中は何も変えない。 Googleのヘルプページでは、結果に影響する可能性があるため、調査中にクリエイティブやオーディエンスを変更しないよう勧めています。
  • 大きなイベントの時期は避ける。 それ自体を測りたい場合を除きます。セール週は両方のグループを動かしますが、同じだけ動かすことはまれです。
  • 大きな判断につながるテストは繰り返す。 1回のテストは1回の測定にすぎません。クリエイティブのテストで同じ考え方をする方法は、Facebook広告のA/Bテストと統計のガイドで解説しています。

DTCブランドはどこから始めるべきか?

DTCブランドがインクリメンタリティテストを始めるなら、割り当てられた成果と増分の成果の差が大きくなりやすく、かかっている予算も最も大きいところからにしましょう。

  1. 問いを1つに絞る。 たとえば、リターゲティングは売上を増やしているか、新しいチャネルはMeta以外で顧客を増やしているか。2つ目の場合は、Meta以外への広告チャネルの分散のガイドで、地域のホールドアウトを提案しています。
  2. 実施できる設計を選ぶ。 媒体のリフト測定を利用できるなら、その媒体にはそれを使います。利用できないなら、ストアの売上を使った地域テストが最も取り組みやすい選択肢です。
  3. 成功の指標を事前に決める。 増分購入数、増分の初回購入者数、または増分の限界利益。結果を見る前に決めましょう。
  4. 判断のルールを書き出す。 たとえば、増分の新規顧客1人あたりの単価が回収期間の上限を下回る限り、そのチャネルを続ける、といったルールです。
  5. 結果を係数として使う。 あるチャネルのインクリメンタリティが30%なら、ほかのチャネルと比べるときは、次のテストまで、そのチャネルの割り当てられたCPAを0.3で割って使います。

Wevionが役立つ場面

インクリメンタリティテストは広告媒体の中か自社の分析で行いますが、地域テストでも、すべてのアカウントの広告費を、ストアの売上と同じ日付で、地域と期間ごとにきれいに分けて用意する必要があります。

WevionはMeta、Google、TikTok、Snapchat、Taboola、Outbrainの広告アカウントを各媒体の公式APIで接続し、ShopifyやWooCommerceの注文を広告費と並べてひとつのダッシュボードに取り込み、データを約15分ごとに同期します。そのため、テストの期間中、媒体が報告する成果とストアの売上を並べて確認できます。

Wevionはリフト測定を実施せず、アトリビューションも決めず、コンバージョンの重複も取り除きません。クロスチャネル分析では、日付とアカウントで絞り込めて、すべてのアカウントをその日の為替レートで1つの通貨に換算するので、増分ROASの広告費の側を一貫させておけます。

Proプランの14日間トライアルで、自社の広告アカウントとストアで試せます。開始時にカードは不要です。7日目、またはトライアルのクレジットを使い切った場合はそれより前にカードの登録をお願いし、登録した場合のみ14日目から課金が始まります。

まとめ

  • インクリメンタリティテストは広告が生んだ売上を測り、アトリビューションは広告に割り当てられた売上を測ります。
  • オーディエンスのホールドアウトは人を分け、地域テストは地域を分け、媒体のリフト測定はホールドアウトを媒体が代わりに行います。
  • Metaのコンバージョンリフトは提供が限定的で、Metaの担当者を通す必要があります。Googleは、ユーザーに基づくリフト測定に1,000件の測定コンバージョンと5,000米ドルの予算を挙げています。
  • 結果は、増分コンバージョン、相対リフト、増分コンバージョン単価として読みましょう。
  • コントロールグループが小さいと幅が広がります。始める前にサンプルサイズを計画し、テスト中は何も変えないようにしましょう。

よくあるご質問

The Ad Signal

推測を拒否するメディアバイヤーのための週刊インサイト。1通のメール。シグナルのみ。

広告運用を自動化する準備はできましたか?

すべてのアカウントで一括キャンペーン配信。Proプランで14日間、Wevionを無料でお試しいただけます。開始時にカードは不要です。7日目にカードの登録をお願いし、登録された場合のみ14日目から課金が始まります。