A/B тесты ломаются не в статистике, а на этапе постановки гипотезы

Слабый тест начинается с фразы «давайте проверим, какой креатив лучше». Сильный — с одной конкретной гипотезы: меняем только заголовок, только оффер или только CTA, а не всё сразу. Иначе вы не понимаете, что именно повлияло на результат.

Перед запуском проверьте три вещи:
— один тест = один фактор;
— одинаковый трафик на оба варианта;
— заранее заданная метрика успеха: CTR, конверсия, удержание, заявка.

Частая ошибка — останавливать тест, когда «победитель уже виден». Ранний стоп ловит шум, а не сигнал. Ещё одна ловушка — сравнивать версии с разной аудиторией или разным объёмом трафика: тогда побеждает не креатив, а случайность. В маркетинге это особенно заметно на малых объёмах.

Полезно вести простой журнал: гипотеза, что меняли, сколько трафика собрали, какой вывод сделали. Через несколько тестов видно, какие триггеры реально двигают цифры, а какие только создают иллюзию прогресса. 📌

Если тест нельзя объяснить одной фразой, его, скорее всего, нужно переписать, а не запускать.