А/Б тест без мусора: как не сломать статистику и не сделать ложный вывод

Если меняете крео, лендинг и аудиторию одновременно, это уже не тест, а хаос. Меняйте только один элемент: заголовок, оффер, кнопку, формат первого экрана.

Дальше держите базу неизменной: одинаковый бюджет, одинаковые плейсменты, одинаковое время показа. Иначе победит не вариант, а случайность. Для чистоты:
— разделите трафик поровну;
— не останавливайте тест после первых кликов;
— смотрите не только CTR, но и конверсию дальше по воронке.

Ошибка номер один — делать вывод по слишком маленькой выборке. Один удачный день ничего не доказывает. Ошибка номер два — сравнивать варианты, которые отличаются сразу по нескольким деталям: там уже не понять, что сработало.

Сначала фиксируйте гипотезу: «если сократить форму, заявок станет больше». Потом заранее решайте, какой метрикой меряете успех и при каком результате тест закрываете. Без этого A/B легко превращается в красивую таблицу без пользы.

Тестируйте по одному изменению, считайте до конца воронки и закрывайте вариант только по заранее заданному правилу — тогда A/B начинает экономить бюджет, а не сжигать его.