Статзначимость A/B-теста без формул: как не перепутать шум с эффектом

Статзначимость A/B-теста без формул: как не перепутать шум с эффектом

Если A даёт 2.1%, а B — 2.4%, это ещё не победа. Смотрим не на разницу «на глаз», а на размер выборки, разброс и доверительный интервал. Чем меньше трафика, тем шире интервал и тем выше шанс принять случайность за эффект.

Практическое правило:
— если интервал A и B сильно пересекается, выводы рано;
— если прирост есть, но выборка мала, тест добирает данные;
— если разница стабильна на длинном отрезке и не скачет по дням, шанс на реальный эффект выше.

Упрощённая логика такая: статистическая значимость отвечает не на вопрос «победил ли вариант», а на вопрос «можем ли мы объяснить разницу случайностью». Когда p-value ниже 0.05, вероятность увидеть такой же или больший разрыв при равных вариантах мала. Но это не означает большой бизнес-эффект — 0.3% к CR может быть значимым и бесполезным.

Ошибка, которая сливает тесты: останавливать его в момент, когда B впереди. На коротком окне лидирует почти всё. Смотрите заранее заданный объём трафика, фиксируйте метрику успеха и не меняйте правило остановки по ходу.

Вывод простой: сначала размер эффекта, потом значимость. Если прирост маленький, но значимый — решает экономика. Если прирост большой, но значимости нет — это пока гипотеза, а не победа.