7 ошибок в A/B тестах, которые превращают эксперимент в генератор шума

7 ошибок в A/B тестах, которые превращают эксперимент в генератор шума

Плохой A/B тест обычно ломается не на статистике, а раньше: в постановке. Если гипотеза звучит как «улучшим онбординг», тест уже мутный. Нормальная формулировка: «убираем шаг X, чтобы поднять активацию Y у новых пользователей».

Частые ошибки:
— запуск без primary metric и guardrail-метрик;
— остановка теста, когда «уже красиво»;
— несколько изменений в одном варианте;
— оценка всех сегментов подряд после факта;
— тест на аудитории, где нет достаточного трафика;
— игнор сезонности, CRM-кампаний и платного микса;
— решение по кликам, когда деньги в ретеншне или оплатах.

Перед стартом зафиксируй: гипотезу, минимальный detectable effect, длительность, правило остановки, список метрик и сегменты для анализа. Не «примерно в документе», а так, чтобы через месяц нельзя было переобуть интерпретацию.

Главное правило: A/B тест не доказывает, что идея хорошая. Он проверяет конкретное изменение в конкретном контексте. Чем грязнее дизайн, тем дороже ложный uplift.