А/Б тест без математики превращается в спор креативщиков и медиабайера

Чтобы тест реально помогал закупке, сравнивай только один фактор: заголовок, оффер, формат, аудиторию или лендинг. Если менять всё сразу, ты не поймёшь, что сработало, а что просто совпало по удаче. В арбитраже это особенно больно: ошибка маскируется под «не зашло».

Перед стартом зафиксируй базу: одинаковый бюджет, один источник трафика, один период открутки и одна метрика успеха. Не смешивай CTR и конверсию в один вывод — высокий CTR ещё не значит прибыльный трафик, а хороший CR может убиться плохим крео. 📌

Смотри не только на победителя, но и на разброс. Если вариант обошёл другой на пару лидов при мизерной выборке, это не сигнал, а шум. Важнее повторяемость: тест должен выигрывать несколько раз на похожих связках, а не один раз на эмоциях.

После теста не «женись» на победителе. Перенеси удачную гипотезу в соседние связки и проверь, держится ли она на другом сегменте или с другим креативом. Если результат ломается при малом изменении, значит, ты нашёл не рабочую модель, а случайное совпадение.

Лучший А/Б тест — тот, после которого у тебя появился не просто победитель, а понятное правило для следующих запусков.