Ir para o conteúdo

Teste de incrementalidade no ecommerce: holdouts, testes geo e lift

10 min de leitura
PR

Priya Raghunathan

E-commerce Performance Manager

O teste de incrementalidade responde à pergunta que a atribuição não responde: quantas das suas vendas não teriam acontecido sem os anúncios? Os relatórios de atribuição dizem qual anúncio levou o crédito por um pedido. Um teste controlado compara pessoas ou regiões que viram os seus anúncios com outras comparáveis que não viram, e a diferença é o que os anúncios realmente acrescentaram.

Resposta rápida: O teste de incrementalidade mede as conversões extras geradas pelos anúncios comparando um grupo exposto com um grupo de controle que fica sem vê-los. Os três desenhos mais comuns são os holdouts de público, os testes geográficos e os estudos de lift das plataformas, como o Conversion Lift da Meta e o Conversion Lift do Google Ads. Leia o resultado como uma faixa, não como um número único, e confira o tamanho da amostra antes de agir.

O nosso artigo sobre por que os números da Meta e do Shopify não batem termina onde este começa: a contagem de último clique do Shopify e a contagem da própria Meta delimitam a contribuição real da Meta, e só um teste diz onde ela fica. Para a visão da loja inteira, que não precisa de teste, veja MER vs. ROAS.

O que o teste de incrementalidade mede?

O teste de incrementalidade mede o efeito causal dos anúncios: as conversões do grupo exposto menos as conversões que esse mesmo grupo faria de qualquer jeito, estimadas a partir de um grupo de controle.

Atribuição e incrementalidade respondem a perguntas diferentes:

  • Atribuição: dos pedidos que aconteceram, qual ponto de contato leva o crédito? Todo pedido é atribuído a algum lugar, incluindo pedidos que teriam acontecido sem nenhum anúncio.
  • Incrementalidade: quantos pedidos aconteceram por causa dos anúncios? Os pedidos de pessoas que iam comprar de qualquer jeito contam como zero.

A diferença entre as duas é maior onde os anúncios alcançam pessoas que já estão perto de comprar: retargeting, busca pela marca e campanhas voltadas a clientes existentes. Ela também explica por que a soma das conversões das plataformas passa dos pedidos da sua loja, como mostra o nosso guia sobre plataformas de anúncios que contam conversões em dobro.

Quais são os principais desenhos de teste de incrementalidade?

Existem três desenhos práticos para uma marca DTC, e eles mudam no que é dividido, em quem faz a análise e nos dados de que você precisa.

Holdout de público. Uma parte aleatória do público-alvo fica sem ver os anúncios. Todo o resto continua igual. Como as pessoas são distribuídas ao acaso, o grupo de controle é uma estimativa justa do que o grupo exposto teria feito. Quem faz a divisão tem que ser a plataforma, porque só ela sabe quem teria visto um anúncio.

Teste geográfico. Os anúncios rodam em algumas regiões e não em outras, ou um canal é desligado em algumas regiões. Você escolhe regiões de teste e de controle que se comportaram de forma parecida antes do teste e depois compara as vendas. Os testes geográficos podem usar os dados da sua própria loja, cobrir qualquer canal e não precisam de ajuda da plataforma. A contrapartida é que você tem um punhado de regiões em vez de milhares de pessoas, então os resultados têm mais ruído.

Estudo de lift da plataforma. A Meta e o Google oferecem uma versão gerenciada do holdout, rodada nos sistemas deles e com a análise deles. Os detalhes estão na próxima seção.

Uma quarta abordagem, desligar um canal para todo mundo por duas semanas e comparar com as duas semanas anteriores, é barata mas fraca. A sazonalidade, as promoções e os outros canais mudam ao mesmo tempo, então os períodos de antes e depois não são comparáveis. Use só como uma checagem grosseira.

Desenhos de teste de incrementalidade comparados: holdout de público, teste geográfico e estudo de lift da plataforma
Três formas de testar a incrementalidade

O que os estudos de lift da Meta e do Google oferecem?

As duas plataformas descrevem o conversion lift como um experimento aleatório com um grupo que vê os anúncios e um grupo que não vê, mas o acesso e os requisitos mudam, então confira a documentação atual antes de planejar um.

Conversion Lift da Meta. O guia da API de Marketing sobre estudos de lift da Meta descreve um grupo de teste aleatório que vê os seus anúncios e um grupo de controle que não vê, com a Meta distribuindo as pessoas entre os dois. Ele compara as conversões e as vendas dos dois grupos para determinar o aumento que a campanha gerou. A mesma página diz que a mensuração de Conversion Lift está limitada no momento e pede aos anunciantes que procurem o representante da Meta para ter acesso. Os resultados de um detalhamento só aparecem quando os grupos de teste e de controle somam pelo menos 100 conversões.

Conversion Lift do Google Ads. A página de ajuda do Google sobre o Conversion Lift baseado em usuários diz que ele não está disponível para todas as contas e orienta os anunciantes a procurar o representante de conta do Google. Como está listado lá hoje:

  • Os tipos de campanha compatíveis incluem Display, Pesquisa, Vídeo, Demand Gen, App e Performance Max, com algumas exceções.
  • Pelo menos 1.000 conversões observadas e um orçamento mínimo de campanha de 5.000 dólares americanos.
  • Um holdback de 1% a 50% do público.
  • Os estudos podem durar só 7 dias, mas o Google normalmente recomenda mais de 14.
  • O poder do estudo é mostrado de 50% a 95%; o Google sugere buscar 90% ou mais e trata resultados entre 50% e 90% como indicativos.

O Google também oferece o Conversion Lift baseado em geografia, que divide por região. A comparação dos tipos de lift do Google observa que a divisão geográfica tem mais ruído e costuma precisar de um orçamento maior do que a baseada em usuários, mas aceita conversões on-line e off-line.

Um estudo da plataforma mede os anúncios daquela plataforma com o tracking de conversões daquela mesma plataforma. Ele não diz o que os anúncios fizeram com as vendas em outros lugares, e continua sendo a plataforma corrigindo a própria prova, mesmo que o método seja sólido.

Como ler os resultados de lift?

Ler os resultados de lift significa transformar duas contagens de conversões em três números: conversões incrementais, lift relativo e custo por conversão incremental.

Este é um holdout de público fictício. Os números foram escolhidos para fechar a conta, não tirados de nenhum estudo.

  • Grupo de teste: 900.000 pessoas, 2.700 compras, uma taxa de 0,30%
  • Grupo de controle: 100.000 pessoas, 240 compras, uma taxa de 0,24%
  • Investimento no grupo de teste: €40.000
  • Compras que a plataforma atribuiu à campanha: 1.800

O cálculo:

  1. Compras esperadas sem anúncios = taxa do controle × tamanho do grupo de teste = 0,24% × 900.000 = 2.160
  2. Compras incrementais = 2.700 − 2.160 = 540
  3. Lift relativo = (0,30% − 0,24%) ÷ 0,24% = 25%
  4. Custo por compra incremental = €40.000 ÷ 540 = €74,07

Compare com o número atribuído. Sobre 1.800 compras atribuídas, o custo por compra da plataforma é de €22,22. Só 540 delas, ou 30%, foram incrementais neste exemplo. O resto teria acontecido de qualquer jeito. Isso não quer dizer que a campanha fracassou: quer dizer que o número certo para as decisões de orçamento é €74,07, comparado com o teto do seu payback do CAC e com a margem do primeiro pedido.

Em um teste geográfico, a lógica é a mesma, com as vendas por região. Suponha, de novo de forma fictícia, que as regiões de teste venderam €200.000 e as de controle €250.000 nas oito semanas anteriores, uma razão de 0,8. Durante o teste, um canal novo roda só nas regiões de teste, que vendem €230.000, enquanto as regiões de controle vendem €260.000. As vendas esperadas no teste são 0,8 × €260.000 = €208.000, então as vendas incrementais são €22.000. Com €10.000 de investimento, isso dá um ROAS incremental de 2,2. Com uma margem de contribuição de 45%, €22.000 de vendas deixam €9.900, um pouco menos do que o investimento. O teste mostra um lift real e um pequeno prejuízo ao mesmo tempo, e é por isso que medidas baseadas em lucro, como o POAS, devem ficar ao lado do resultado de lift.

Por que o tamanho da amostra importa tanto?

O tamanho da amostra define a largura da faixa em torno do seu número de lift, e com grupos de controle pequenos essa faixa pode ser maior do que o próprio lift.

No exemplo do holdout, o grupo de controle teve 240 compras. As contagens de compras variam por acaso; para uma contagem como essa, uma faixa aproximada de 95% é de mais ou menos duas vezes a raiz quadrada dela (√240 ≈ 15,5), ou seja, de cerca de 210 a 270. Faça o mesmo cálculo em cada ponta:

  • Controle baixo (210): compras esperadas 1.890, lift de cerca de 43%
  • Controle alto (270): compras esperadas 2.430, lift de cerca de 11%

Então a leitura honesta do exemplo é "algo entre cerca de 11% e 43%", e não "25%". Essa checagem aproximada ignora o ruído no grupo de teste e não substitui a estatística da própria plataforma, mas mostra o tamanho do problema. Regras práticas que decorrem disso:

  • Planeje o tamanho antes de começar. Use a estimativa de poder da plataforma ou uma calculadora de tamanho de amostra. Se o teste não consegue chegar a conversões suficientes, um teste mais longo ou um holdback maior ajuda mais do que um teste mais curto e mais barato.
  • Não mude nada durante o teste. A página de ajuda do Google desaconselha mudar criativos ou públicos durante um estudo, porque isso pode afetar os resultados.
  • Evite grandes datas do calendário, a menos que sejam o que você quer medir. Uma semana de promoção move os dois grupos, mas raramente na mesma proporção.
  • Repita os testes que embasam decisões grandes. Um teste é uma leitura. O nosso guia de teste A/B estatístico no Facebook cobre a mesma disciplina para testes de criativos.

Como uma marca DTC deve começar?

Uma marca DTC deve começar os testes de incrementalidade onde a diferença entre os resultados atribuídos e os incrementais tende a ser maior e onde o orçamento em jogo é mais alto.

  1. Escolha uma pergunta. Por exemplo: o retargeting traz vendas a mais, ou um canal novo traz clientes além da Meta? O nosso guia para diversificar os canais de anúncios além da Meta sugere um holdout por região para o segundo caso.
  2. Escolha o desenho que você consegue rodar. Se você tem acesso a um estudo de lift da plataforma, use-o para aquela plataforma. Se não tem, um teste geográfico sobre as vendas da loja é a opção mais acessível.
  3. Defina a métrica de sucesso antes. Compras incrementais, clientes novos incrementais ou contribuição incremental. Decida antes de ver o resultado.
  4. Escreva a regra de decisão. Por exemplo: manter o canal se o custo por cliente novo incremental ficar abaixo do teto do payback.
  5. Aplique o resultado como um fator. Se um canal mostra 30% de incrementalidade, divida o CPA atribuído dele por 0,3 ao compará-lo com outros canais, até o próximo teste.

Onde o Wevion entra

Os testes de incrementalidade rodam nas plataformas de anúncios ou na sua própria análise, mas um teste geográfico ainda precisa do investimento de todas as contas nas mesmas datas das vendas da loja, separado de forma limpa por região e por período.

O Wevion conecta contas de anúncios de Meta, Google, TikTok, Snapchat, Taboola e Outbrain pela API oficial de cada plataforma, coloca os pedidos do Shopify ou do WooCommerce ao lado desse investimento em um só dashboard e sincroniza os dados mais ou menos a cada 15 minutos, então os resultados informados pelas plataformas e as vendas da loja ficam lado a lado durante um teste.

O Wevion não roda estudos de lift, não decide a atribuição e não remove conversões duplicadas. A análise entre canais permite filtrar por data e por conta e converte todas as contas para uma só moeda, com o câmbio de cada dia, o que mantém consistente o lado do investimento em um ROAS incremental.

Você pode testar nas suas próprias contas de anúncios com um teste de 14 dias no plano Pro. Sem cartão para começar. Pedimos o cartão no 7º dia, ou antes se os créditos do teste acabarem, e a cobrança começa no 14º dia só se você o adicionar.

Principais pontos

  • O teste de incrementalidade mede as vendas geradas pelos anúncios; a atribuição mede as vendas creditadas a eles.
  • Os holdouts de público dividem pessoas, os testes geográficos dividem regiões e os estudos de lift das plataformas fazem o holdout por você.
  • O Conversion Lift da Meta é limitado e exige um representante da Meta; o Google lista 1.000 conversões observadas e um orçamento de 5.000 dólares americanos para o lift baseado em usuários.
  • Leia os resultados como conversões incrementais, lift relativo e custo por conversão incremental.
  • Grupos de controle pequenos dão faixas largas: planeje o tamanho da amostra antes de começar e não mude nada durante o teste.
Voltar ao blog
Compartilhar

Perguntas frequentes

The Ad Signal

Insights semanais para media buyers que não adivinham. Um email. Apenas sinal.

Pronto para automatizar suas operações de anúncios?

Lance campanhas em massa em todas as contas. Teste o Wevion grátis por 14 dias no plano Pro. Sem cartão para começar: pedimos o cartão no 7º dia, e a cobrança só começa no 14º dia se você o tiver adicionado.