Почему uplift в 30% может быть иллюзией, а 5% — настоящей победой

Тест креативов — святое дело, но считать результаты часто учат неправильно. Вот что перекручивает цифры:

1. Забывают про статистическую значимость
Если прогнал 100 кликов на каждый вариант за два дня и один выиграл на 25% — это шум, не результат. Нужен минимум объём данных: примерно 1000+ конверсий на группу или минимум две недели теста. Иначе отклонение от среднего можно объяснить случаем.

2. Смотрят только на конверсию, забывают про ROI
Креатив А дал 8% конверсию, креатив Б — 10%. Выигрыш? Может быть нет. Если Б привлекает более дорогую аудиторию (выше CPC), то ROI может быть ниже. Проверь сумму трат против прибыли, а не отдельные метрики.

3. Не изолируют переменные
Тестировал креативы, но параллельно менял аудиторию, бюджет или время запуска? Невозможно понять, кто виноват в подъёме. Одна переменная за раз — база.

4. Останавливают тест на удаче
Вышли в плюс на день-два и снимаешь проигрывающий вариант? Рано. Данные могут развернуться. Доводи тест до статистической значимости, даже если надоело.

Вывод: считай uplift честно — смотри на объём данных, проверяй ROI, изолируй переменные. Лучше минус, доказанный на 10k конверсий, чем плюс, построенный на 200 кликах.