А/Б тестирование ломается не в гипотезе, а в сборе данных и выводах

А/Б тестирование ломается не в гипотезе, а в сборе данных и выводах

Чаще всего тест считают «плохим» не потому, что креатив слабый, а потому что в нём смешали разные источники трафика, аудитории и офферы. Если сравнивать баннеры, оставляйте одинаковыми площадку, сегмент и посадочную — иначе вы проверяете не креатив, а шум.

Перед стартом зафиксируйте 4 вещи:
— что именно меняете: заголовок, визуал, CTA или лендинг;
— какой показатель решает: CTR, CR, CPA или ROI;
— минимальный объём выборки;
— сколько времени тест идёт без ручных правок.

Ошибка номер два — смотреть на первый час и делать вывод. Ранний всплеск часто даёт случайность: один сегмент, один плейсмент, один удачный показ. Лучше дождаться равного распределения показов и сравнивать не «кто вырос», а «кто стабильно держит результат» 📊

Ещё важнее не путать победителя по кликам с победителем по деньгам. Креатив с высоким CTR может приводить холодный трафик, который плохо конвертится дальше. Поэтому фиксируйте не только верх воронки, но и итоговую экономику.

Один тест — одна гипотеза. Если меняете сразу несколько элементов, вы получаете красивую картинку без ответа, что именно сработало.