А/Б тесты ломаются не на креативах, а на плохой постановке гипотезы

Если меняешь сразу заголовок, оффер и формат — ты не тестируешь, а гадаешь. Один тест = одна переменная: креатив, аудитория, лендинг или первый экран. Иначе победителя не будет, потому что непонятно, за счёт чего выросла метрика.

Перед запуском проверь:
— есть ли у теста одна цель: CTR, CR, стоимость лида, удержание;
— хватает ли объёма, чтобы вариантам набрать сопоставимые данные;
— одинаковы ли условия показа, иначе сравнение шумит;
— зафиксированы ли правила остановки: по времени, по числу конверсий или по просадке.

Частая ошибка — смотреть только на «победу» по клику. Клик может стать дешевле, но качество трафика хуже: дороже лид, ниже апрув, слабее LTV. Поэтому после первичного отбора всегда смотри на следующий шаг воронки, а не только на верхнюю метрику. 📈

Ещё один важный момент: не мешай в один вывод статистику и эмоции. Если разница небольшая, а данные шумные, правильнее продолжить тест, чем срочно «фиксить победителя». Хороший A/B — это не быстрый ответ, а чистое сравнение.

Если хочешь, чтобы тесты реально экономили бюджет, начинай с одной гипотезы и одной метрики, а потом уже масштабируй победителя на следующем уровне воронки.