А/Б на 500 подписчиков — статистика говорит "нет", но вы всё равно тестируете

А/Б на 500 подписчиков — статистика говорит "нет", но вы всё равно тестируете

Малые выборки дают шум вместо сигнала. Вот почему это опасно и как не попасть в ловушку.

Первая ошибка — верить результату, когда разница между вариантами в пределах статошибки. При 500 человек в каждой группе колебания конверсии могут быть 2-3% просто так, без причины. Вы видите рост на 1.5% и спешите масштабировать — потом на большой базе эффект испаряется.

Вторая подводная: временной горизонт. На малом срезе тест заканчивается за день-два. За такой период не видно, как подписчики реагируют на повтор сообщения, как растёт unsubscribe, как меняется лайф-тайм. Вы оптимизируете первый клик, а разрушаете лояльность.

Третья — предвзятость выбора. Если вы делите базу вручную или берёте случайный срез, есть риск, что две группы отличаются не только по креативу. Может быть, в одной больше активных пользователей, в другой — старых подписчиков. Контролируй структуру выборки или используй встроенные инструменты платформы.

Четвёртая ошибка — множественные тесты подряд. Если делать 10 А/Б одновременно на 500 людях, один из них гарантированно "выиграет" просто по статистике, хотя реального эффекта нет.

Копи правило: тестируй на малых срезах только на качественные гипотезы (явно неработающий креатив, совсем другой формат). На微量выборке проверяй не цифры, а концепцию. Если гипотеза прошла логику — масштабируй на 5-10% базы минимум на неделю.

—
Если тема зашла, посмотри @affcareers_yerevan