Ir al contenido

Test de incrementalidad en ecommerce: holdouts, geo tests y lift

10 min de lectura
PR

Priya Raghunathan

Responsable de Rendimiento de E-commerce

Un test de incrementalidad responde a la pregunta que la atribución no puede responder: ¿cuántas de tus ventas no habrían existido sin los anuncios? Los informes de atribución te dicen qué anuncio se llevó el mérito de un pedido. Un test controlado compara personas o regiones que vieron tus anuncios con otras comparables que no los vieron, y la diferencia es lo que los anuncios aportaron de verdad.

Respuesta rápida: un test de incrementalidad mide las conversiones extra que causan los anuncios comparando un grupo expuesto con un grupo de control al que no se le muestran. Los tres diseños habituales son los holdouts de audiencia, los geo tests y los estudios de lift de las plataformas, como Conversion Lift de Meta y Conversion Lift de Google Ads. Lee el resultado como un rango, no como una cifra única, y revisa el tamaño de la muestra antes de actuar.

Nuestro artículo sobre por qué no cuadran las cifras de Meta y Shopify termina donde empieza este: el recuento de último clic de Shopify y el recuento propio de Meta acotan la contribución real de Meta, y solo un test te dice dónde está. Para la vista a nivel de tienda que no necesita ningún test, consulta MER frente a ROAS.

¿Qué mide un test de incrementalidad?

Un test de incrementalidad mide el efecto causal de los anuncios: las conversiones del grupo expuesto menos las conversiones que ese mismo grupo habría hecho de todos modos, estimadas a partir de un grupo de control.

La atribución y la incrementalidad responden a preguntas distintas:

  • Atribución: de los pedidos que se hicieron, ¿qué punto de contacto se lleva el mérito? Todo pedido se asigna a algún sitio, incluidos los que habrían llegado sin ningún anuncio.
  • Incrementalidad: ¿cuántos pedidos se hicieron gracias a los anuncios? Los pedidos de personas que iban a comprar igualmente cuentan como cero.

La diferencia entre las dos es mayor donde los anuncios llegan a personas que ya estaban cerca de comprar: retargeting, búsqueda de marca y campañas dirigidas a clientes existentes. También explica por qué la suma de las conversiones de las plataformas supera los pedidos de tu tienda, algo que cubre nuestra guía sobre por qué las plataformas publicitarias cuentan dos veces las conversiones.

¿Cuáles son los principales diseños de test de incrementalidad?

Para una marca DTC hay tres diseños prácticos, y se diferencian en qué se divide, quién hace el análisis y qué datos necesitas.

Holdout de audiencia. Una parte aleatoria de la audiencia objetivo no ve los anuncios. Todo lo demás se mantiene igual. Como las personas se asignan al azar, el grupo de control es una estimación justa de lo que habría hecho el grupo expuesto. La división la tiene que hacer la plataforma, porque solo ella sabe a quién se le habría mostrado un anuncio.

Geo test. Los anuncios se publican en unas regiones y no en otras, o un canal se apaga en algunas regiones. Eliges regiones de test y de control que se comportaron de forma parecida antes del test y luego comparas las ventas. Los geo tests pueden usar los datos de tu propia tienda, cubren cualquier canal y no necesitan ayuda de la plataforma. A cambio, tienes un puñado de regiones en lugar de miles de personas, así que los resultados tienen más ruido.

Estudio de lift de la plataforma. Meta y Google ofrecen una versión gestionada del holdout, que se ejecuta en sus sistemas con su propio análisis. Los detalles, en la siguiente sección.

Un cuarto enfoque, apagar un canal para todo el mundo durante dos semanas y compararlo con las dos semanas anteriores, es barato pero débil. La estacionalidad, las promociones y los demás canales cambian a la vez, así que el periodo de antes y el de después no son comparables. Úsalo solo como comprobación aproximada.

Diseños de test de incrementalidad comparados: holdout de audiencia, geo test y estudio de lift de la plataforma
Tres formas de testear la incrementalidad

¿Qué ofrecen los estudios de lift de Meta y Google?

Las dos plataformas describen el conversion lift como un experimento aleatorio con un grupo que ve los anuncios y otro que no, pero el acceso y los requisitos cambian, así que revisa la documentación vigente antes de planificar uno.

Conversion Lift de Meta. La guía de la Marketing API sobre estudios de lift de Meta describe un grupo de test aleatorio que ve tus anuncios y un grupo de control que no los ve, con Meta asignando a las personas a cada uno. Compara conversiones y ventas entre los dos grupos para determinar el aumento que generó la campaña. La misma página dice que la medición de Conversion Lift "está limitada por ahora" y pide a los anunciantes que contacten con su representante de Meta para acceder. Los resultados de un desglose solo se muestran cuando los grupos de test y de control suman al menos 100 conversiones.

Conversion Lift de Google Ads. La página de ayuda de Google sobre Conversion Lift basado en usuarios dice que no está disponible para todas las cuentas y remite a los anunciantes a su representante de Google. Según lo que indica hoy:

  • Los tipos de campaña compatibles incluyen Display, Búsqueda, Vídeo, Demand Gen, Aplicaciones y Performance Max, con algunas exclusiones.
  • Al menos 1.000 conversiones observadas y un presupuesto mínimo de campaña de 5.000 dólares estadounidenses.
  • Un holdback de entre el 1 % y el 50 % de la audiencia.
  • Los estudios pueden durar solo 7 días, pero Google suele recomendar más de 14.
  • La potencia del estudio se muestra del 50 % al 95 %; Google aconseja apuntar al 90 % o más y considera orientativos los resultados entre el 50 % y el 90 %.

Google también ofrece Conversion Lift basado en la ubicación geográfica, que divide por regiones. Su comparativa de los tipos de lift indica que la división geográfica tiene más ruido y suele necesitar más presupuesto que la basada en usuarios, pero admite conversiones online y offline.

Un estudio de una plataforma mide los anuncios de esa plataforma con el seguimiento de conversiones de esa misma plataforma. No puede decirte qué hicieron los anuncios con las ventas en otros sitios, y sigue siendo la plataforma evaluando su propio trabajo, aunque el método sea sólido.

¿Cómo se leen los resultados de lift?

Leer los resultados de lift consiste en convertir dos recuentos de conversiones en tres cifras: conversiones incrementales, lift relativo y coste por conversión incremental.

Aquí tienes un holdout de audiencia hipotético. Las cifras se han elegido para que cuadren, no salen de ningún estudio.

  • Grupo de test: 900.000 personas, 2.700 compras, una tasa del 0,30 %
  • Grupo de control: 100.000 personas, 240 compras, una tasa del 0,24 %
  • Gasto en el grupo de test: 40.000 €
  • Compras que la plataforma atribuyó a la campaña: 1.800

El cálculo:

  1. Compras esperadas sin anuncios = tasa de control × tamaño del grupo de test = 0,24 % × 900.000 = 2.160
  2. Compras incrementales = 2.700 − 2.160 = 540
  3. Lift relativo = (0,30 % − 0,24 %) ÷ 0,24 % = 25 %
  4. Coste por compra incremental = 40.000 € ÷ 540 = 74,07 €

Compáralo con la cifra atribuida. Sobre 1.800 compras atribuidas, el coste por compra de la plataforma es de 22,22 €. En este ejemplo, solo 540 de ellas, un 30 %, fueron incrementales. El resto habría ocurrido igualmente. Eso no significa que la campaña fracasara: significa que la cifra correcta para las decisiones de presupuesto es 74,07 €, comparada con tu techo de recuperación del CAC y con el margen del primer pedido.

En un geo test, la lógica es la misma con las ventas por región. Supón, de nuevo con cifras hipotéticas, que las regiones de test vendieron 200.000 € y las de control 250.000 € en las ocho semanas anteriores, un ratio de 0,8. Durante el test, un canal nuevo se publica solo en las regiones de test, que venden 230.000 €, mientras que las de control venden 260.000 €. Las ventas esperadas en test son 0,8 × 260.000 € = 208.000 €, así que las ventas incrementales son 22.000 €. Con 10.000 € de gasto, es un ROAS incremental de 2,2. Con un margen de contribución del 45 %, 22.000 € de ventas dejan 9.900 €, algo menos que el gasto. El test muestra a la vez un lift real y una pequeña pérdida, y por eso las medidas basadas en el beneficio, como el POAS, deben ir junto al resultado de lift.

¿Por qué importa tanto el tamaño de la muestra?

El tamaño de la muestra decide lo amplio que es el rango alrededor de tu cifra de lift, y con grupos de control pequeños ese rango puede ser más amplio que el propio lift.

En el ejemplo del holdout, el grupo de control tuvo 240 compras. Los recuentos de compras varían por azar; para un recuento así, un rango aproximado del 95 % es más o menos el doble de su raíz cuadrada (√240 ≈ 15,5), es decir, de unas 210 a unas 270. Repite el cálculo en cada extremo:

  • Control bajo (210): 1.890 compras esperadas, lift de alrededor del 43 %
  • Control alto (270): 2.430 compras esperadas, lift de alrededor del 11 %

Así que la lectura honesta del ejemplo es "entre un 11 % y un 43 % aproximadamente", no "un 25 %". Esta comprobación rápida ignora el ruido del grupo de test y no sustituye a la estadística de la propia plataforma, pero muestra la escala del problema. Las reglas prácticas que se derivan:

  • Planifica el tamaño antes de empezar. Usa la estimación de potencia de la plataforma o una calculadora de tamaño de muestra. Si el test no puede llegar a suficientes conversiones, ayuda más un test más largo o un holdback mayor que uno más corto y barato.
  • No cambies nada durante el test. La página de ayuda de Google desaconseja cambiar creatividades o audiencias durante un estudio, porque puede afectar a los resultados.
  • Evita las grandes fechas del calendario, salvo que sean lo que quieres medir. Una semana de rebajas mueve a los dos grupos, pero rara vez en la misma medida.
  • Repite los tests que llevan a decisiones grandes. Un test es una sola lectura. Nuestra guía de A/B testing estadístico en Facebook aplica la misma disciplina a los tests de creatividades.

¿Cómo debería empezar una marca DTC?

Una marca DTC debería empezar con los tests de incrementalidad donde la diferencia entre resultados atribuidos e incrementales tiene más probabilidades de ser grande y donde hay más presupuesto en juego.

  1. Elige una sola pregunta. Por ejemplo: ¿el retargeting suma ventas, o un canal nuevo suma clientes más allá de Meta? Nuestra guía para diversificar los canales publicitarios más allá de Meta propone un holdout por regiones para el segundo caso.
  2. Elige el diseño que puedas ejecutar. Si tienes acceso a un estudio de lift de una plataforma, úsalo para esa plataforma. Si no, un geo test sobre las ventas de tu tienda es la opción más accesible.
  3. Fija de antemano la métrica de éxito. Compras incrementales, clientes nuevos incrementales o contribución incremental. Decídelo antes de ver el resultado.
  4. Pon por escrito la regla de decisión. Por ejemplo: mantener el canal si el coste por cliente nuevo incremental se queda por debajo del techo de recuperación.
  5. Aplica el resultado como factor. Si un canal muestra un 30 % de incrementalidad, divide su CPA atribuido entre 0,3 cuando lo compares con otros canales, hasta el siguiente test.

Dónde encaja Wevion

Los tests de incrementalidad se hacen en las plataformas publicitarias o en tu propio análisis, pero un geo test sigue necesitando el gasto de todas las cuentas en las mismas fechas que las ventas de tu tienda, bien separado por región y periodo.

Wevion conecta las cuentas publicitarias de Meta, Google, TikTok, Snapchat, Taboola y Outbrain a través de la API oficial de cada plataforma, pone los pedidos de Shopify o WooCommerce junto a ese gasto en un solo dashboard y sincroniza los datos aproximadamente cada 15 minutos, así que durante un test tienes lado a lado los resultados que reportan las plataformas y las ventas de la tienda.

Wevion no hace estudios de lift, no decide la atribución ni deduplica conversiones. La analítica multicanal te permite filtrar por fecha y cuenta y convierte todas las cuentas a una sola moneda con el tipo de cambio de cada día, lo que mantiene coherente el lado del gasto de un ROAS incremental.

Puedes probarlo en tus propias cuentas publicitarias con una prueba de 14 días en el plan Pro. Sin tarjeta para empezar. Te la pedimos el día 7, o antes si agotas los créditos de prueba, y la facturación empieza el día 14 solo si la añades.

Conclusiones clave

  • Un test de incrementalidad mide las ventas que causan los anuncios; la atribución mide las ventas que se les asignan.
  • Los holdouts de audiencia dividen personas, los geo tests dividen regiones y los estudios de lift de las plataformas hacen el holdout por ti.
  • El Conversion Lift de Meta está limitado y requiere un representante de Meta; Google pide 1.000 conversiones observadas y un presupuesto de 5.000 dólares estadounidenses para el lift basado en usuarios.
  • Lee los resultados como conversiones incrementales, lift relativo y coste por conversión incremental.
  • Los grupos de control pequeños dan rangos amplios: planifica el tamaño de la muestra antes de empezar y no cambies nada durante el test.

Preguntas frecuentes

The Ad Signal

Insights semanales para media buyers que no adivinan. Un email. Solo señal.

¿Listo para automatizar tus operaciones publicitarias?

Empieza a lanzar campañas en bloque en todas tus cuentas. Prueba Wevion gratis durante 14 días con el plan Pro. Sin tarjeta para empezar: te la pedimos el día 7, y la facturación empieza el día 14 solo si la has añadido.