Как читать A/B-тест, чтобы не принять шум за продуктовый инсайт

Как читать A/B-тест, чтобы не принять шум за продуктовый инсайт

Сначала не смотрите на p-value. Смотрите на дизайн: гипотеза была одна? метрика заранее выбрана? длительность и MDE зафиксированы до старта? Если ответы «ну почти» — это не эксперимент, а раскопки в шуме.

Дальше проверка гигиены:
— SRM: доли трафика не поехали;
— выборка добрана, а не остановлена «когда стало красиво»;
— guardrails не пробиты: ошибки, отток, latency, refund;
— окно анализа совпадает с поведением пользователя, а не с терпением команды.

Потом эффект. Не «значимо/не значимо», а размер эффекта и доверительный интервал. +0,3% при широком интервале — не победа, а туман. -2% в ключевом сегменте при общем плюсе — повод копать, а не выкатывать флагом на всех.

Сегменты читаются после основного вывода, не вместо него. Если нарезали 40 групп и нашли одну «золотую», поздравляю: вы открыли казино. Сегмент должен быть заранее осмыслен: платформа, страна, новый/старый пользователь, источник трафика.

Итог: хороший разбор A/B-теста отвечает на три вопроса — можно ли верить данным, есть ли бизнес-эффект, безопасно ли раскатывать. Всё остальное — украшение отчёта.