Инкрементальность ломается не в тесте, а в том, как вы выбираете контроль

Инкрементальность ломается не в тесте, а в том, как вы выбираете контроль

Инкрементальный тест отвечает на один вопрос: сколько продаж дал канал сверх базового уровня. Формально: lift = (T - C) / C, где T — результат тестовой группы, C — контроль. Но смысл есть только если группы сопоставимы до запуска.

Что нужно заранее:
— рандомизация по пользователям, регионам или времени;
— стабильный базовый спрос;
— достаточно событий в обеих группах;
— одинаковое окно измерения для T и C.

Типовые поломки:
— канал покупают в «лучшие» регионы, а потом сравнивают с остальными;
— тест длится слишком мало и ловит шум, а не эффект;
— в контроль попадает аудитория, которая видела spillover из теста;
— считают только конверсии, забывая про выручку и маржу.

Если рандомизация невозможна, смотрите на geo-test или holdout, но сначала проверьте, нет ли пересечения аудиторий и внешних факторов: сезонности, промо, изменения ассортимента. Иначе вы измеряете не инкремент, а разницу условий.

Хороший тест — это не «мы увидели uplift», а «мы заранее исключили все способы получить ложный uplift».