А/Б тест не показал победителя — и это нормально

Арбитражники часто ждут от теста чёткого результата: крео A выиграло, крео B проиграло, идём дальше. На практике тесты часто дают размытые результаты, и многие просто продолжают лить на оба варианта или бросают тест раньше времени.

Вот что на самом деле означают основные сценарии:

• Статистика одинаковая — это не ничья, это сигнал к масштабированию. Оба варианта работают в похожем диапазоне: берёшь оба, увеличиваешь бюджет и смотришь, на каком объёме один начнёт отстаивать.

• Разница в 5-15% — шум, а не победа. Нужна большая выборка. Продолжай тест, не принимай решение на малых объёмах.

• Один вариант выиграл, но СPL вырос — проверь, не сменился ли трафик. Часто лучше конвертит не креатив, а другая геогеография или девайс, которые случайно попали в этот вариант.

• Тест идёт третий день, результата нет — это норма. Дай ему минимум неделю на 100+ конверсий. Спешка в тестировании стоит дороже, чем лишние дни ожидания.

Главное правило: не завершай тест раньше, чем накопится минимальный объём данных, даже если один вариант выглядит явным лидером в первые дни. Ложные срабатывания стоят дороже терпения.