Антикейс: новый угол запустили поверх старого и не поняли, что именно сломало ROI

Антикейс: новый угол запустили поверх старого и не поняли, что именно сломало ROI

Команда добавила новый angle в уже рабочую связку и не отключила старый. В итоге в кабинете шли два сценария, а отчёт показывал одну кашу: креативы смешались, лиды начали прыгать по качеству, а оптимизация — по ложным сигналам.

Что пошло не так:
— старый угол продолжал забирать часть трафика и маскировал просадку нового;
— тестировали сразу два изменения: креатив и сообщение, без разделения гипотез;
— бюджет дробили, но не фиксировали контрольную группу, поэтому сравнение стало шумом.

Ошибка здесь не в самом тесте, а в отсутствии изоляции. Когда старый и новый угол живут в одном потоке, вы не понимаете, где сработал крючок, а где сломался оффер, преленд или аудитория. Это особенно больно на малом спенде: статистика вроде есть, решения — нет.

Как надо было делать:
— сначала заморозить рабочий угол и оставить его как baseline;
— новый запускать отдельной кампанией, с тем же GEO и одним отличием;
— заранее задать критерий остановки: CR, CPL или качество лида, а не «кажется, пошло хуже» 🧪

Если тест не отделён от базы, он превращается не в поиск победителя, а в генератор шума.