А/Б тест без шума: 5 ошибок, из-за которых статистика врёт

Если тестируете креативы, лендинги или офферы, сначала проверьте базу: одинаковый трафик, одна цель и один измеряемый шаг. Когда в одном варианте меняют сразу заголовок, кнопку и форму, вы не понимаете, что именно сработало.

— Дробить аудиторию слишком сильно: на маленьких объёмах победитель часто случайный.
— Сливать в тест разные источники или плейсменты: сравнение становится нечестным.
— Останавливать тест по первому всплеску: ранний лидер не всегда держит преимущество.
— Считать только конверсию без качества: важно смотреть не только заявку, но и дальнейшее действие.
— Менять условия по ходу теста: любое вмешательство ломает чистоту сравнения.

Хорошее правило: тестируйте один фактор за раз, заранее фиксируйте метрику успеха и минимальный объём трафика. Если гипотеза про креатив — не трогайте посадочную. Если про лендинг — не мешайте в тест новый оффер.

Выигрывает не самый яркий вариант, а тот, чью разницу можно повторить на следующем запуске.