p-value отвечает на узкий вопрос: насколько странно увидеть такие данные, если разницы между вариантами нет. Он не доказывает, что эффект важен для бизнеса или повторится на другой аудитории.
Перед запуском проверьте:
— минимально значимый эффект задан заранее;
— мощности хватает для текущего трафика и базовой конверсии;
— правило остановки не зависит от «красивого» графика.
Отдельно смотрите доверительный интервал. Лифт +6% при интервале от −1% до +13% — не почти победа, а широкий диапазон неопределённости. Важны границы возможной выгоды и ущерба.
Хорошая привычка: до запуска фиксировать гипотезу, primary metric (основную метрику), длительность, правило остановки и сегменты для проверки. После старта менять это нельзя без явной пометки.
Вывод: статистическая значимость — фильтр, а не вердикт. Решение стоит принимать вместе с размером эффекта, интервалом и ценой ошибки.
Связка TikTok плюс преленд на нутру
@bundle_tiktok_nutra_hub
Почему A/B-тест с p-value 0,04 всё ещё может быть плохим решением
Этот пост опубликован в Telegram-канале Связка TikTok плюс преленд на нутру (@bundle_tiktok_nutra_hub). Все его публикации — на странице канала.
Открыть в Telegram