А/Б-тест: правила, которые отделяют рабочую гипотезу от случайного всплеска

А/Б-тест: правила, которые отделяют рабочую гипотезу от случайного всплеска

А/Б-тест сравнивает две версии при одинаковых условиях: A — контрольная, B — изменённая. Меняйте один элемент: заголовок, креатив, оффер или экран лендинга. Иначе нельзя понять, что повлияло на результат.

До запуска зафиксируйте:
— гипотезу: «изменение X улучшит метрику Y»;
— одну основную метрику и 1–2 защитные: стоимость действия, конверсия, качество лида;
— критерий успеха и достаточный объём данных.
Не объявляйте победителя по первым кликам: малая выборка легко даёт ложный перевес.

Распределяйте аудиторию случайно и сохраняйте одинаковыми бюджет, географию, устройства, период показа и атрибуцию. Заранее задайте правило остановки — иначе тест можно закончить в момент, когда цифры случайно стали удобными. Сегменты изучайте после завершения, но не выбирайте лучший задним числом.

А/Б-тест не доказывает, что вариант лучше всегда. Он показывает, что сработало в заданных условиях, и помогает выбрать следующий вопрос для проверки.