Почему A/B тесты падают: 3 причины, из-за которых ты видишь результат, которого нет

Арбитражник запускает две крео — одна якобы выигрывает с ROI 250%, другая падает. На самом деле это может быть случайность, а не закономерность. Вот почему тесты врут.

Статистическая значимость. Если прогнал 100 кликов и один превратился в покупку — это не паттерн, это шум. Нужен минимальный объем данных: обычно 50–100 конверсий на вариант. Тестишь с меньшим объемом — принимаешь решение вслепую.

Время теста. День недели, час суток, сезонность — всё влияет на поведение аудитории. Тест в 2 дня может поймать аномалию. Оптимально тестировать минимум неделю, чтобы усреднить колебания.

Неправильная метрика. Смотришь на CTR, а выигрывает в конверсиях другой вариант. Или оптимизируешь под клики, а люди не доходят до целевого действия. Определи метрику ДО теста, не подгоняй результат под желаемый ответ.

Вывод: прежде чем масштабировать победившую крео, убедись что тест имел достаточный объём данных, шёл достаточно долго и ты смотрел на правильную метрику. Иначе масштабируешь случайность.