Антикейс: новый угол запустили поверх старого и потеряли, что именно сломало связку

Антикейс: новый угол запустили поверх старого и потеряли, что именно сломало связку

Когда команда тестирует новый креативный угол, не отключая старый, она получает не два теста, а один шумный ком. В трекере смешиваются показ, CTR, CR и выручка по разным гипотезам, а решение принимается по ощущению, а не по данным.

Что обычно ломается:
— старый угол продолжает забирать часть трафика и искажает сравнение;
— бюджет дробится, и оба варианта не набирают нормальную статистику;
— победителем считают не лучший угол, а тот, который случайно получил более лёгкий трафик.

Особенно плохо это работает, когда меняют сразу крео, преленд и офферный блок. Потом команда спорит, что именно дало просадку: визуал, текст, заход или просто плохой трафик. На деле никто не знает, потому что из теста сделали помойку переменных.

Что делать иначе:
— держать один тест = одна гипотеза;
— старый угол фиксировать, новый вести отдельно;
— заранее задавать критерий остановки, а не ждать «на глаз»;
— сохранять лог изменений: крео, тайминг, аудитория, связка.

Если нельзя отключить старое полностью, хотя бы разведите тесты по кампаниям и по времени. Иначе команда не тестирует угол, а просто коллекционирует ложные выводы.