Порог значимости нужен не для красоты, а чтобы не назначать победителя там, где разница могла родиться случайно. Если тест закрыть слишком рано, «лучший» вариант часто оказывается просто удачнее по шуму, а не по факту.
Смотреть надо не только на p-value, но и на объем выборки, разброс метрик и длину цикла конверсии. Если трафика мало, а событий мало, значимость будет прыгать: сегодня вариант B впереди, завтра уже A. На таком фоне выводы делать опасно.
Рабочие правила:
— не трогать тест, пока не набрано достаточно событий по обеим веткам;
— не останавливать его на первом всплеске;
— проверять, сохраняется ли разница в динамике, а не только в общей сводке;
— сравнивать не «красиво ли выглядит», а есть ли устойчивое преимущество по целевой метрике.
Если метрика сильно волатильная, порог значимости сам по себе ничего не спасает: нужен еще и здравый смысл. Бывает, что формально тест «вышел в плюс», но эффект слишком слабый, чтобы перекрыть просадку на следующем шаге воронки.
Считайте тест завершенным только тогда, когда цифры держатся стабильно, а не один раз мигнули в лучшую сторону.
Media Buying Room
@AdMediaBuyRoom
Когда A/B-тест можно считать победным, а когда вы просто ловите шум
Этот пост опубликован в Telegram-канале Media Buying Room (@AdMediaBuyRoom). Все его публикации — на странице канала.
Открыть в Telegram