А/Б тест сгорит впустую, если менять не то: 5 ошибок, которые ломают статистику

Главная проблема в том, что тестируют сразу всё: заголовок, картинку, оффер и кнопку. В итоге вы не понимаете, что именно дало рост или просадку. Один тест — одна гипотеза. Меняете только переменную, остальное держите одинаковым.

Ещё три частые ошибки:
— мало трафика: выборка не успевает накопиться, а вывод уже сделан;
— преждевременная победа: вариант выглядит лучше на коротком отрезке, но разваливается на дистанции;
— смешение аудиторий: холодный и тёплый трафик в одном тесте дают шум вместо ответа.

Перед запуском зафиксируйте метрику успеха: не «мне нравится», а CTR, CR, CPA или доход на клик. И заранее решите, что считается достаточным объёмом данных для остановки теста. Иначе любой результат можно объявить победой.

Если тест не отвечает на конкретный вопрос, он не экономит бюджет, а просто тратит его. Сначала формулируйте гипотезу, потом меняйте один элемент и только после этого принимайте решение.