Почему A/B тест не даёт ответов, если тестируешь сразу всё подряд

A/B тестирование в трафике полезно только тогда, когда меняется один понятный фактор. Иначе ты получаешь не тест, а набор догадок: заголовок, крео, оффер и посадочная влияют друг на друга, и победителя уже не видно.

Что проверять по очереди:
— сначала один элемент: заголовок, картинку, CTA или первый экран;
— затем гипотезу с одной метрикой: CTR, CR или CPA;
— фиксируй всё остальное, чтобы сравнение было честным;
— не делай вывод по слабому объёму: случайный всплеск легко принять за закономерность.

Частая ошибка — останавливать тест, как только вариант чуть обошёл базу. Без достаточного трафика это шум, а не сигнал. Ещё одна ловушка — сравнивать разные аудитории: тогда ты меряешь не креатив, а качество потока.

Полезная схема простая: одна гипотеза, один сплит, один критерий победы. Если победителя нет, значит тест всё ещё не закончился, а если победитель есть — проверь его на повторном запуске и только потом масштабируй.