Статзначимость A/B-теста: формула без математики и лишней магии

Статзначимость A/B-теста: формула без математики и лишней магии

Если коротко: значимость отвечает не на вопрос «вариант лучше?», а на вопрос «можно ли доверять разнице, а не шуму». В A/B-тесте есть три опоры: размер эффекта, размер выборки и разброс поведения. Один рост CR на 8% на 300 визитах и тот же рост на 30 000 визитах — это разные истории.

Смотрите не на проценты сами по себе, а на связку:
— эффект должен быть заметным в бизнес-смысле;
— выборка должна быть достаточной, иначе тест ловит случайность;
— трафик надо делить честно, без ручного добора победителя.
Если хотя бы одна опора слабая, «победитель» может исчезнуть при повторе.

Практическая логика простая: чем меньше эффект, тем больше трафика нужно; чем выше шум, тем дольше тест. Если конверсия пляшет по дням, не закрывайте эксперимент на первом хорошем дне. И наоборот: большой эффект на большой выборке обычно виден даже без сложной статистики, но подтверждение всё равно нужно.

Хорошее правило для лендингов: сначала задайте минимальный эффект, который вам вообще интересен, потом считайте выборку под него, и только после этого запускайте тест. Иначе вы не тестируете гипотезу — вы просто ждёте удачного дня.