Как не слить бюджет на ложные выводы: 3 правила чистого A/B-теста

Остановка кампании сразу после того, как один вариант вырвался вперед — ошибка. Без статистической значимости результат случаен. Даже если креатив лидирует с отрывом в 20%, при малом охвате через день ситуация может зеркально измениться.

Нельзя менять несколько переменных сразу. Если обновить и заголовок, и картинку, невозможно понять, что именно сработало. Чистый тест требует проверки одной гипотезы: меняем один элемент, оставляя остальные условия идентичными.

Срок теста должен охватывать полный цикл, обычно 7 дней. Поведение в будни и выходные отличается. Нужно дождаться завершения недели, чтобы сгладить суточные колебания активности и получить объективные данные.

Перед сложным тестом проведите А/А-проверку: запустите два одинаковых объявления на одну аудиторию. Если разница в результатах более 10%, настройки распределения трафика работают некорректно. 💡