5 ошибок в A/B-тестах, после которых ваш «инсайт» можно выбросить

5 ошибок в A/B-тестах, после которых ваш «инсайт» можно выбросить

Эксперимент ломается не в момент анализа. Он ломается раньше — когда команда запускает «на глаз», а потом героически ищет значимость там, где был шум.

— Нет гипотезы до старта. «Посмотрим, что будет» — это не эксперимент, а рыбалка по метрикам.
— Нет power analysis. Если выборки мало, тест не «не показал эффекта» — он был слепым.
— Меняют аудиторию на ходу. Долили канал, выключили сегмент, поправили таргетинг — поздравляю, у вас уже другой тест.
— Игнорируют SRM. Если группы распределились криво, p-value можно не открывать.
— Читают только основную метрику. Рост конверсии при падении retention или маржи — не победа, а долг с процентами.

Минимальный антидот: до запуска зафиксируйте гипотезу, primary metric, guardrails, MDE, размер выборки, длительность, правила остановки и список сегментов. Не в голове. В документе.

Если тест нельзя воспроизвести по вашему описанию — это не эксперимент, а продуктовый фольклор.