Тестирование инкрементальности в e-commerce: holdout, гео-тесты и lift
Priya Raghunathan
Менеджер по performance в e-commerce
Тестирование инкрементальности отвечает на вопрос, на который не отвечает атрибуция: сколько ваших продаж не случилось бы без рекламы? Отчёты атрибуции говорят, какому объявлению засчитан заказ. Контролируемый тест сравнивает людей или регионы, которые видели вашу рекламу, с сопоставимыми, которые её не видели, и разница показывает, что реклама добавила на самом деле.
Коротко: тестирование инкрементальности измеряет дополнительные конверсии, вызванные рекламой, сравнивая группу, видевшую рекламу, с контрольной группой, которой её не показывали. Три распространённых подхода: holdout-тесты по аудитории, гео-тесты и исследования прироста на платформах, например Meta Conversion Lift и Google Ads Conversion Lift. Читайте результат как диапазон, а не как одну цифру, и проверяйте размер выборки, прежде чем действовать.
Наша статья о том, почему цифры Meta и Shopify не совпадают, заканчивается там, где начинается эта: подсчёт Shopify по последнему клику и собственный подсчёт Meta задают рамки реального вклада Meta, и только тест показывает, где он внутри этих рамок. Взгляд на уровне магазина, для которого тест не нужен, описан в статье MER или ROAS.
Что измеряет тестирование инкрементальности?
Тестирование инкрементальности измеряет причинный эффект рекламы: конверсии в группе, видевшей рекламу, минус конверсии, которые та же группа сделала бы и так, по оценке контрольной группы.
Атрибуция и инкрементальность отвечают на разные вопросы:
- Атрибуция: каким точкам контакта засчитать заказы, которые уже случились? Каждый заказ куда-то приписывается, включая заказы, которые случились бы без всякой рекламы.
- Инкрементальность: сколько заказов случилось благодаря рекламе? Заказы людей, которые всё равно собирались купить, считаются как ноль.
Разрыв между ними больше всего там, где реклама охватывает людей, уже готовых купить: в ретаргетинге, брендовом поиске и кампаниях на текущих клиентов. Он же объясняет, почему сумма конверсий по платформам больше числа заказов в магазине, о чём рассказывает наше руководство о том, как рекламные платформы дважды считают конверсии.
Примените это на практике
Запускайте, тестируйте и масштабируйте кампании на шести рекламных платформах в одном месте, а Wavo, ИИ-копилот, всегда рядом. 14 дней бесплатно.
Какие есть основные схемы тестов на инкрементальность?
Для DTC-бренда есть три практичные схемы, и они различаются тем, что делится, кто проводит анализ и какие данные нужны.
Holdout-тест по аудитории. Случайной доле целевой аудитории реклама не показывается. Всё остальное остаётся прежним. Поскольку люди распределяются случайно, контрольная группа честно показывает, что сделала бы группа, видевшая рекламу. Разделение должна проводить платформа, потому что только она знает, кому показала бы объявление.
Гео-тест. Реклама идёт в одних регионах и не идёт в других, или в некоторых регионах канал отключается. Вы выбираете тестовые и контрольные регионы, которые вели себя одинаково до теста, а затем сравниваете продажи. Гео-тесты могут опираться на данные вашего магазина, охватывать любой канал и не требуют помощи платформы. Цена за это в том, что у вас несколько регионов вместо тысяч людей, поэтому результаты шумнее.
Исследование прироста на платформе. Meta и Google предлагают управляемую версию holdout-теста, которая проходит внутри их систем с их собственным анализом. Подробности в следующем разделе.
Четвёртый подход, отключить канал для всех на две недели и сравнить с двумя неделями до этого, дёшев, но слаб. Сезонность, акции и другие каналы меняются одновременно, поэтому периоды до и после несопоставимы. Используйте его только как грубую проверку на здравый смысл.

Что предлагают исследования прироста Meta и Google?
Обе платформы описывают Conversion Lift как рандомизированный эксперимент с группой, которая видит рекламу, и группой, которая её не видит, но доступ и требования различаются, поэтому перед планированием проверьте актуальную документацию.
Meta Conversion Lift. Руководство Marketing API по lift-исследованиям описывает рандомизированную тестовую группу, которая видит вашу рекламу, и контрольную группу, которая её не видит, причём людей по группам распределяет Meta. Оно сравнивает конверсии и продажи двух групп, чтобы определить прирост, который дала кампания. На той же странице сказано «Conversion Lift Measurement is currently limited», то есть измерение Conversion Lift сейчас ограничено, и рекламодателям предлагают обратиться за доступом к своему представителю Meta. Результаты по разбивке показываются, только когда у тестовой и контрольной групп вместе не менее 100 конверсий.
Google Ads Conversion Lift. Страница справки Google о Conversion Lift на основе пользователей говорит, что он доступен не для всех аккаунтов, и направляет рекламодателей к их представителю Google. Сейчас там указано:
- Поддерживаемые типы кампаний включают Display, Search, Video, Demand Gen, App и Performance Max, с некоторыми исключениями.
- Не менее 1 000 наблюдаемых конверсий и минимальный бюджет кампании 5 000 долларов США.
- Контрольная доля аудитории от 1 до 50 процентов.
- Исследование может длиться всего 7 дней, но Google обычно рекомендует больше 14.
- Мощность исследования показывается от 50 до 95 процентов; Google советует целиться в 90 процентов и выше, а результаты от 50 до 90 процентов считает ориентировочными.
Google также предлагает Conversion Lift на основе географии, который делит по регионам. Его сравнение типов Conversion Lift отмечает, что географическое деление шумнее и обычно требует большего бюджета, чем деление по пользователям, зато поддерживает онлайн- и офлайн-конверсии.
Исследование платформы измеряет рекламу этой платформы по её же отслеживанию конверсий. Оно не скажет, что реклама сделала с продажами в других местах, и это всё равно платформа, которая оценивает собственную работу, даже если метод надёжен.
Как читать результаты исследования прироста?
Прочитать результаты исследования прироста значит превратить два числа конверсий в три цифры: инкрементальные конверсии, относительный прирост и стоимость инкрементальной конверсии.
Вот придуманный holdout-тест по аудитории. Цифры подобраны так, чтобы всё сходилось, и не взяты ни из какого исследования.
- Тестовая группа: 900 000 человек, 2 700 покупок, коэффициент конверсии 0,30 процента
- Контрольная группа: 100 000 человек, 240 покупок, коэффициент конверсии 0,24 процента
- Расход на тестовую группу: €40 000
- Покупки, которые платформа атрибутировала кампании: 1 800
Расчёт:
- Ожидаемые покупки без рекламы = коэффициент конверсии контрольной группы × размер тестовой группы = 0,24% × 900 000 = 2 160
- Инкрементальные покупки = 2 700 − 2 160 = 540
- Относительный прирост = (0,30% − 0,24%) ÷ 0,24% = 25 процентов
- Стоимость инкрементальной покупки = €40 000 ÷ 540 = €74,07
Сравните это с атрибутированной цифрой. При 1 800 атрибутированных покупках стоимость покупки по данным платформы равна €22,22. Инкрементальными в этом примере были лишь 540 из них, или 30 процентов. Остальные случились бы и так. Это не значит, что кампания провалилась: это значит, что для решений о бюджете правильная цифра равна €74,07, и сравнивать её нужно с потолком окупаемости CAC и маржой первого заказа.
Для гео-теста логика та же, только с продажами по регионам. Допустим, снова придуманный пример: за восемь недель до теста тестовые регионы продали на €200 000, а контрольные на €250 000, соотношение 0,8. Во время теста новый канал работает только в тестовых регионах, и они продают на €230 000, а контрольные на €260 000. Ожидаемые продажи тестовых регионов равны 0,8 × €260 000 = €208 000, значит, инкрементальные продажи составляют €22 000. При расходе €10 000 это инкрементальный ROAS 2,2. При маржинальной прибыли в 45 процентов €22 000 продаж оставляют €9 900, чуть меньше расхода. Тест одновременно показывает реальный прирост и небольшой убыток, поэтому рядом с результатом теста нужны показатели на основе прибыли, такие как POAS.
Почему размер выборки так важен?
Размер выборки определяет, насколько широк диапазон вокруг цифры прироста, и при маленьких контрольных группах этот диапазон может оказаться шире самого прироста.
В примере holdout-теста в контрольной группе было 240 покупок. Число покупок колеблется случайно; для такого числа грубый 95-процентный диапазон составляет плюс-минус примерно удвоенный квадратный корень из него (√240 ≈ 15,5), то есть примерно от 210 до 270. Повторите расчёт для каждого края:
- Нижний край контроля (210): ожидаемых покупок 1 890, прирост около 43 процентов
- Верхний край контроля (270): ожидаемых покупок 2 430, прирост около 11 процентов
Поэтому честное прочтение примера звучит как «где-то примерно от 11 до 43 процентов», а не «25 процентов». Эта грубая проверка игнорирует шум в тестовой группе и не заменяет собственную статистику платформы, но показывает масштаб проблемы. Из этого следуют практические правила:
- Планируйте размер до старта. Используйте оценку мощности на платформе или калькулятор размера выборки. Если тест не может набрать достаточно конверсий, более долгий тест или большая контрольная доля помогут больше, чем более короткий и дешёвый.
- Ничего не меняйте во время теста. Справка Google не советует менять креативы или аудитории во время исследования, потому что это может повлиять на результаты.
- Избегайте крупных событий в календаре, если вы не хотите измерить именно их. Неделя распродаж сдвигает обе группы, но редко одинаково.
- Повторяйте тесты, от которых зависят крупные решения. Один тест даёт одно измерение. Наше статистическое руководство по A/B-тестированию в Facebook описывает ту же дисциплину для тестов креативов.
С чего начать DTC-бренду?
DTC-бренду стоит начинать тестирование инкрементальности там, где разрыв между атрибутированными и инкрементальными результатами скорее всего велик, а бюджет на кону больше всего.
- Выберите один вопрос. Например: добавляет ли ретаргетинг продажи или приводит ли новый канал клиентов сверх Meta? Наше руководство о том, как диверсифицировать рекламные каналы за пределами Meta, предлагает для второго случая holdout по регионам.
- Выберите схему, которую можете провести. Если у вас есть доступ к исследованию прироста на платформе, используйте его для этой платформы. Если нет, самый доступный вариант даёт гео-тест на продажах вашего магазина.
- Заранее зафиксируйте метрику успеха. Инкрементальные покупки, инкрементальные покупатели с первым заказом или инкрементальная маржинальная прибыль. Решите до того, как увидите результат.
- Запишите правило решения. Например: оставляем канал, если стоимость инкрементального нового клиента остаётся ниже потолка окупаемости.
- Применяйте результат как коэффициент. Если канал показывает инкрементальность 30 процентов, делите его атрибутированный CPA на 0,3, когда сравниваете его с другими каналами, до следующего теста.
Где место Wevion
Тесты на инкрементальность проходят в рекламных платформах или в вашем собственном анализе, но гео-тесту всё равно нужен расход по каждому аккаунту за те же даты, что и продажи магазина, чётко разделённый по регионам и периодам.
Wevion подключает рекламные аккаунты Meta, Google, TikTok, Snapchat, Taboola и Outbrain через официальный API каждой платформы, ставит заказы Shopify или WooCommerce рядом с этим расходом в одном дашборде и синхронизирует данные примерно каждые 15 минут, поэтому результаты из отчётов платформ и продажи магазина во время теста видны рядом.
Wevion не проводит исследования прироста, не решает вопрос атрибуции и не устраняет дубли конверсий. Кросс-канальная аналитика позволяет фильтровать по датам и аккаунтам и пересчитывает каждый аккаунт в одну валюту по курсу каждого дня, благодаря чему расходная часть инкрементального ROAS остаётся последовательной.
Попробовать можно на собственных рекламных аккаунтах и магазине с 14-дневным пробным периодом на тарифе Pro. Для старта карта не нужна. Мы попросим её на 7-й день или раньше, если вы израсходуете пробные кредиты, а оплата начнётся на 14-й день, только если вы её добавите.
Ключевые выводы
- Тестирование инкрементальности измеряет продажи, вызванные рекламой; атрибуция измеряет продажи, засчитанные рекламе.
- Holdout-тесты по аудитории делят людей, гео-тесты делят регионы, исследования прироста на платформах проводят holdout за вас.
- Conversion Lift в Meta ограничен и требует представителя Meta; Google для Conversion Lift на основе пользователей указывает 1 000 наблюдаемых конверсий и бюджет 5 000 долларов США.
- Читайте результаты как инкрементальные конверсии, относительный прирост и стоимость инкрементальной конверсии.
- Маленькие контрольные группы дают широкий разброс: планируйте размер выборки до старта и ничего не меняйте во время теста.
Изучите больше в
Платформы управления рекламой
Прочитайте pillar-страницу со всеми гайдами по этой теме, от основ до продвинутого уровня.