Сплит-тест лендинга слил бюджет: 4 ошибки, из-за которых статистика врёт

Первая и самая частая — менять два элемента за раз. Поменяли цвет кнопки и заголовок одновременно, конверсия выросла. Что сработало? Неизвестно. Тестируйте строго одну переменную на итерацию, иначе данные бесполезны.

Вторая ошибка — останавливать тест до набора статзначимости. Увидели +15% CR на сотне кликов и раскатили вариант на весь трафик. Случайный всплеск не равен тренду. Минимум — 300-500 конверсий на вариант, чтобы доверять цифрам 🎯

Третья — игнор сегментов. Лендинг может показывать плюс в десктопе и глубокий минус в мобайле. Разбивайте выборку по устройствам и гео, прежде чем делать выводы.

Четвёртая — неравный сплит трафика. Если трекер отдаёт варианту A 70% визитов, а B — 30%, сравнивать их конверсии напрямую нельзя. Настраивайте жёсткое деление 50/50.

Базовое правило: сплит-тест — это математика, а не интуиция. Фиксируйте гипотезу до запуска, не трогайте настройки на лету и принимайте решение только после закрытия нужного объёма данных.