Когда А/Б тест показывает победителя, но продажи падают

Классическая ошибка: арбитражник запускает две версии крео, одна выигрывает по CTR или CPC, её масштабируют — и ROI рушится. Тест был честный, цифры правильные, но результат противоположный ожиданиям.

Проблема в том, что оптимизируют не то, что продаёт. CTR выше — не значит, что люди действительно целевые. CPC ниже — может быть потому, что трафик более дешёвый, но менее квалифицированный. Нужно тестировать метрику ближе к деньгам: качество лидов, коэффициент конверсии в реальное действие, удержание подписчика. Если тестируешь только метрики в самой рекламной сети — рискуешь оптимизировать в пустоту.

Второй момент — размер выборки. Если запустил две версии по 100 кликов каждая и объявил победителя — это не тест, это угадывание. Статистическая значимость требует минимум 100-200 конверсий на вариант (в зависимости от волатильности). Малые выборки показывают шум, не тренды. Слишком рано масштабировать — значит строить стратегию на случайности.

Третье: контекст меняется. Тест, который работал два месяца назад, может дать другой результат сейчас — сезонность, конкурентная среда, поведение аудитории сдвигаются. А/Б тестирование — это не одноразовое событие. Проверяешь крео, победитель работает месяц, потом снова появляется усталость и нужен свежий тест.

Тестируй конверсию, а не просмотры. Собирай минимум статистики. Переэтажируй результаты каждый месяц.