A/B тесты ломаются не из-за креатива, а из-за плохой постановки гипотезы

Если тестить «всё сразу», вы не поймёте, что именно дало рост или просадку. Меняйте только один элемент: заголовок, оффер, картинку, кнопку, первый экран. Иначе результат будет шумом, а не сигналом.

Перед запуском зафиксируйте 3 вещи: цель теста, метрику успеха и минимальный срок набора данных. Без этого легко остановиться на «почти победе» и принять случайность за закономерность. 📊

Ещё одна типовая ошибка — слишком мелкая выборка. Если трафика мало, не делайте выводы по одному удачному дню или одному сегменту. Лучше собрать меньше вариантов, но дать каждому набрать сопоставимый объём.

После теста смотрите не только на CTR. Часто заголовок улучшает клики, но портит качество лидов дальше по воронке. Побеждает не самый яркий вариант, а тот, который лучше отвечает на задачу бизнеса.

Фиксируйте выводы в таблице: гипотеза, изменение, результат, решение. Тогда следующий тест будет опираться на опыт, а не на память.