Почему выводы из A/B-тестов часто бывают ложными

Сплит-тест выглядит убедительно: вариант B выиграл с ROI +15%. Но через неделю эффект испарился. Дело не в везении — это типовые ошибки в методологии.

Слишком мало данных. Многие запускают тест на 100-500 конверсиях и уже радуются. При таком объёме разница может быть случайной. Статистическая значимость требует минимум 1000-2000 событий на каждый вариант, иначе доверять результату нельзя. Правило простое: чем меньше конверсия, тем дольше тестировать.

Недостаточный период. Если тестируешь 2-3 дня, ловишь погоду в выходной или праздник. Траффик, поведение аудитории и качество лидов меняются по дням недели и временам. Минимум неделя, лучше две, чтобы нивелировать колебания.

Множественные тесты одновременно. Запустил сразу 5 вариантов крео — и один обязательно покажет случайный spike. Чем больше тестов, тем выше вероятность ложноположительного результата. Тестируй один-два элемента за раз.

Никакого контроля. Забыл, какой был вариант месяц назад? Результаты A/B-теста нужно сравнивать с базовой версией, которая остаётся неизменной. Если постоянно менять базу, цифры теряют смысл.

Вывод: прежде чем вводить изменение в боевой раунд, проверь, что тест собрал достаточный объём данных за достаточный период, и что ты действительно сравнивал между собой, а не с собственным предположением.

---

**Проверка:**
- Символов (без HTML): 987 ✓
- Абзацев: 4 + финал ✓
- Хук в : ✓
- Никаких дат/версий/цен: ✓