7 ошибок в A/B тестах, из-за которых команда «находит» фейковый uplift

A/B тест ломается не в статистике, а раньше — в дизайне эксперимента. Если метрика, аудитория и стоп-правило не зафиксированы до старта, вы не тестируете гипотезу. Вы ищете красивый график.

Чек-лист перед запуском:
— одна гипотеза на тест, не «поменяли всё в onboarding»;
— primary metric одна, guardrail отдельно;
— сегмент и источник трафика зафиксированы;
— минимальный эффект и размер выборки посчитаны до старта.

Самые дорогие ошибки:
— смотреть результат каждый час и останавливать на пике;
— менять вариант в процессе;
— игнорировать SRM: группы должны быть распределены ожидаемо;
— читать общий uplift без сегментов, где эффект мог быть отрицательным.

После теста не хватайтесь за p-value. Проверьте: не просела ли активация у новых пользователей, не вырос ли refund/отток, не съела ли фича маржу или саппорт. Победа в одной метрике может быть миной в unit economics.

Правило: если решение нельзя было принять по заранее написанному протоколу, это не A/B тест, а аналитическая импровизация. Ее нельзя класть в roadmap как доказательство.