Как читать A/B-тест, чтобы не похоронить продукт красивым p-value

Как читать A/B-тест, чтобы не похоронить продукт красивым p-value

Не ищите «зелёную стрелку». Сначала протокол:
— гипотеза записана до старта;
— primary metric одна;
— выборка и длительность посчитаны заранее;
— стоп не сделан «потому что уже красиво».

Потом sanity check. Есть SRM? Не терялись логи? Юзер не мог попасть в обе группы? Тест не пересёкся с rollout, промо или багом? Если рандомизация сломана, p-value можно не открывать.

Результат читайте в порядке: эффект → доверительный интервал → p-value. «+1,8%» без интервала — рекламный слоган. Интервал цепляет ноль или лежит в зоне бизнес-бесполезности? Не продавайте это как победу.

Сегменты — с намордником. Разрезы помогают понять механизм, но не доказывают победу, если их ковыряли после факта. Guardrails обязательны: конверсия выросла, а ретеншн или latency просели — это долг под проценты.

Читать A/B-тест — значит проверять, можно ли верить данным, важен ли эффект и не купили ли вы рост ценой поломки продукта.