A/B тесты ломаются не в статистике, а в постановке задачи

Если тест запускают «проверить всё подряд», он почти всегда даёт шум. Сравнивайте один фактор: заголовок, кнопку, оффер или первый экран. Когда меняют сразу несколько элементов, вы уже не понимаете, что именно повлияло на результат.

Перед стартом зафиксируйте базу: какая метрика главная, какой минимум трафика нужен, что считается успехом. Без этого легко принять случайный всплеск за победу. Ошибка №1 — останавливать тест, как только одна версия «обогнала» другую в первые часы.

Полезный чек-лист:
— одна гипотеза на один тест
— одинаковые условия показа
— заранее выбранная главная метрика
— достаточно длинный период наблюдения
— одинаковая аудитория без ручных исключений

Отдельно смотрите не только на клики, но и на качество дальше по воронке: лиды, заявки, покупки, возвраты. Иногда вариант с лучшим CTR приносит худший итог. Смысл A/B теста не в красивой цифре, а в решении, которое можно масштабировать без сюрпризов.

Если тест нельзя объяснить одной фразой, значит он плохой: сначала упростите гипотезу, потом сравнивайте.