Перед A/B-тестом посчитайте MDE: иначе «нулевой» результат ничего не значит

Перед A/B-тестом посчитайте MDE: иначе «нулевой» результат ничего не значит

MDE, минимально обнаруживаемый эффект, — это лифт, который тест способен поймать при вашей выборке, базовой конверсии и выбранной мощности. Если тест рассчитан только на +12%, он не обязан увидеть реальный эффект +3%.

Быстрый чек:
— зафиксируйте основную метрику до запуска;
— возьмите базовую конверсию не из одного удачного дня, а из устойчивого периода;
— задайте мощность и уровень значимости заранее;
— проверьте, сколько сессий нужно на вариант для эффекта, который бизнес считает полезным.

Частая ошибка CRO-команд: запускать тест, ждать две недели и объявлять «разницы нет». На деле разница могла быть меньше MDE. Это не доказательство отсутствия эффекта, а доказательство того, что дизайн эксперимента был слишком грубым.

Если нужная выборка недостижима, меняйте гипотезу: тестируйте более сильное изменение, объединяйте похожие страницы или переходите к качественному исследованию. Маленькие правки на малом трафике редко дают честный сигнал.

Хороший A/B-тест начинается не с макета, а с вопроса: «какой эффект мы вообще способны измерить?»