А/Б-тесты сливают бюджет не из-за гипотез, а из-за грязной постановки

А/Б-тесты сливают бюджет не из-за гипотез, а из-за грязной постановки

Если тестить «всё на всё», вы получите не инсайт, а шум. В нормальном A/B меняют одну переменную: заголовок, оффер, цвет кнопки, формат крео или длину формы. Когда в одной версии сразу новый текст, картинка и CTA, победителя нельзя объяснить — значит, результат не масштабируется.

Перед запуском зафиксируйте:
— цель: клики, лиды, регистрация, удержание;
— метрику успеха: CTR, CR, CPA, ROMI;
— минимальный объём трафика, при котором сравнение имеет смысл;
— срок теста без преждевременных выводов.

Частая ошибка — останавливать тест после первых всплесков. Ранняя выборка почти всегда искажена: один источник трафика даёт качественнее аудиторию, другой — дешевле, но холоднее. Смотрите не только на среднее значение, а на стабильность по сегментам: устройства, гео, плейсменты, новые и возвращённые пользователи.

Ещё один рабочий приём — заранее прописать правило победы. Например: вариант считается сильнее, если он даёт лучше целевую метрику и не проседает по вторичной. Иначе можно выиграть CTR и проиграть по заявкам.

Тест нужен не ради красивого графика, а ради решения: оставить, доработать или выкинуть. Если гипотеза не меняет поведение аудитории, значит, это не тест, а декоративная перестановка.