A/B-тест без самообмана: 6 правил, которые защищают бюджет от ложных выводов

Сначала сформулируйте одну гипотезу: «Если изменить X, метрика Y улучшится, потому что Z». Один тест — одно существенное изменение. Когда одновременно меняются креатив, аудитория и посадочная, определить причину результата невозможно.

До запуска зафиксируйте:
— основную метрику и допустимые защитные метрики;
— минимальный объём данных для решения;
— срок теста без досрочной остановки;
— правило выбора победителя.

Не проверяйте результат каждые несколько часов. Случайный всплеск легко принять за закономерность, особенно при малой выборке. Сравнивайте варианты в одинаковых условиях: источники, география, устройства, расписание и стратегия закупки должны быть сопоставимы.

Смотрите не только на CTR или конверсию. Победивший креатив может привести более дорогие либо менее качественные лиды. Проверяйте всю цепочку: показ → клик → целевое действие → подтверждение → выручка. После теста сохраните гипотезу, условия и вывод, включая отрицательный результат.

Главное правило: решение принимают по заранее заданным критериям, а не по графику, который приятнее выглядит.