Инкрементальное тестирование: почему A/B-тест не всегда ответ

Инкрементальное тестирование: почему A/B-тест не всегда ответ

Инкрементальное тестирование (incrementality testing) — метод оценки, который отвечает на вопрос: «Сколько целевых действий произошло *исключительно* благодаря рекламному воздействию, а не случилось бы без него». В отличие от классического A/B-теста (сравнение креатива А против креатива Б), инкрементальный тест сравнивает группу, которая видела рекламу, с контрольной группой, которая *не видела* вообще никакой рекламы (или видела холостой трафик). Это чистая causal measurement — измерение причинности.

Главное отличие от A/B-теста: A/B отвечает «какой креатив набрал больше кликов», incrementality отвечает «добавила ли эта кампания бизнесу выручки сверх органики». В эпоху privacy-first атрибуции (2026: серверная атрибуция, MMM) last-click завышает вклад платного трафика, а инкрементальный тест — единственный способ отделить реальный прирост от шума.

Типичная ошибка — принимать инкрементальный тест за способ выбрать «победителя» среди креативов. Нет, его задача — доказать или опровергнуть необходимость самого канала/кампании. Второй промах — запускать тест на слишком низком бюджете: статистическая мощность падает, результат — «незначимо», хотя на деле кампания работала.

Пример: E-com бренд запускает баннеры в соцсети. A/B-тестирование креативов покажет, что «Карусель» даёт CTR на 20% выше «Одиночного изображения». Но инкрементальный тест (часть аудитории держат в холостой группе) может показать: из 100 покупок, атрибутированных в last-click-модели, только 15 реально принесла реклама — остальные 85 купили бы через прямой заход или email. Вывод: канал неэффективен, надо перераспределять бюджет, а не выбирать «победивший» креатив.

— @CreativeTestingRu