A/B тесты ломаются не в статистике, а в постановке задачи

Если тест запущен ради «проверить идею», он почти всегда даёт мусор. Сначала фиксируйте один вопрос: что именно меняем и какой KPI должен сдвинуться. Один тест — одна гипотеза, одна целевая метрика, один сегмент трафика.

Перед стартом проверьте:
— одинаковый объём и качество трафика в группах;
— один критерий успеха, а не 5 метрик сразу;
— достаточный горизонт, чтобы захватить поведение по дням недели;
— отсутствие параллельных правок на лендинге, в крео и в оффере.

Частая ошибка — останавливать тест, когда «победитель уже видно». Ранний срез любит шум: случайный всплеск, перекос по источнику, эффект новизны. Лучше заранее задать правило остановки и не трогать выборку, пока не выполнено условие по объёму или сроку.

Ещё один момент: тестируйте не всё подряд, а узкое место. Если просадка в конверсии на лендинге, не трогайте заголовок, форму и цену одновременно. Разбейте изменения на последовательные эксперименты — так вы поймёте, что реально двигает метрику.

Хороший A/B тест не доказывает, что «вариант B лучше вообще», он отвечает на конкретный вопрос в конкретных условиях. С таким подходом тесты перестают быть лотереей и начинают экономить бюджет.