⭐️ Как понять что твой А/Б тест — просто шум

Жёстко видеть, когда в компаниях принимают решения на основе роста в 2-3%, хотя выборка там была всего три калеки.

На самом деле, без статистической значимости любые выводы — это гадание на кофейной гуще. Я для себя выработал правило «трех фильтров» перед тем как внедрять изменения:
👉 Достаточный объем данных (минимум 100-200 конверсий на вариант)
👉 Уровень значимости не ниже 95%
👉 Тест длится минимум одну полную неделю (чтобы учесть выходные)

Короче, если хотя бы один пункт мимо — я просто удаляю отчет. А как вы определяете, что тест «прокрасился»?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про Аналитика 📊