Почему тестируют по одному элементу, а результат не повторяется

Почему тестируют по одному элементу, а результат не повторяется

Классическая ошибка: запустил А/Б на лендинге, креативе или письме — увидел прирост 15% в одной когорте. Запустил на другой — ничего. Или вообще упал результат.

Проблема не в удаче. Вот что реально происходит:

• Размер выборки мал — даже при 1000 кликов за неделю статистика шумная. Разница в 15% может быть случайностью, а не закономерностью. Тестируй минимум 2-3 недели или пока не наберёшь 5000+ конверсий на вариант.

• Тестируешь слишком много сразу — если менял одновременно текст, цвет кнопки и offer, не поймёшь, что сработало. Каждый тест — один элемент. Остальное фиксируешь.

• Забыл про контекст трафика — дневной трафик может вести себя иначе, чем ночной. Мобильные юзеры иначе реагируют, чем десктопные. Один источник даёт другой результат, чем второй. Не меши когорты в одну кучу.

• Нет повторной валидации — результат повторился один раз? Недостаточно. Запусти снова через месяц на свежей аудитории. Если эффект держится — это тренд, а не случайность.

Правильный тест: один элемент, достаточно данных, однородный трафик, повторная проверка. Результаты начнут повторяться, только когда будешь контролировать переменные.