A/B тест креативов ломается не на статистике, а на плохой методологии

A/B тест креативов ломается не на статистике, а на плохой методологии

Разбираем по фактам. В тесте должен меняться только один параметр: заголовок, визуал, оффер или CTA. Если одновременно крутить несколько переменных, вы получаете не A/B, а набор гипотез, где источник конверсии неочевиден.

Второй фильтр — одинаковые условия показа. Один и тот же источник трафика, аудитория, плейсменты, бюджет и окно атрибуции. Иначе сравнивать CTR и CR бессмысленно: вы тестируете не креатив, а разницу в качестве трафика.

Дальше — объем. Раньше времени резать вариант нельзя: слабый креатив часто дает шум на малой выборке. Смотрите не только на клики, но и на post-click метрики: лид, подтверждение, апрув. Статистика не врет, в отличие от менеджеров ПП.

Фиксируйте победителя только после сплита с одинаковой логикой открутки. Победу по CTR без подтверждения по ROI считать нельзя: красивый клик часто продает хуже, чем менее заметный креатив. Если хотите чистый результат, тестируйте один фактор, держите условия равными и оценивайте весь путь до заявки.