Почему A/B-тест с «значимостью 95%» всё ещё может быть плохим решением

Почему A/B-тест с «значимостью 95%» всё ещё может быть плохим решением

Статистическая значимость не спасает тест, если дизайн эксперимента слабый. Перед запуском фиксируйте не только гипотезу, но и минимально обнаруживаемый эффект: какой прирост стоит изменений в продукте.

— Одна основная метрика. Если одновременно смотреть конверсию, средний чек и клики, растёт шанс выбрать красивый шум.
— Расчёт выборки до старта. Остановка «когда стало зелёным» почти всегда завышает эффект.
— Полный цикл поведения. Для e-commerce это часто неделя, для SaaS — путь до активации или оплаты, а не первые сутки.
— Проверка инвариантов: доли трафика, устройств, гео и источников должны совпадать между вариантами.

Отдельно держите журнал решений: что считали успехом, какие сегменты смотрели заранее, какие баги исключали. Без этого разбор после теста превращается в поиск удобного объяснения.

Хороший эксперимент отвечает не на вопрос «победил ли B», а на вопрос «достаточно ли надёжен эффект, чтобы менять систему». Если нет — это тоже результат, а не провал.