AB-тест проваливается не из-за статистики, а из-за плохой постановки
Разница между «тестом» и измеримым экспериментом обычно в пяти вещах: одна гипотеза, один primary metric, заранее заданная длительность, фиксированный сплит трафика и правило остановки. Если меняете всё сразу, эффект распадается на шум.
Проверьте baseline до запуска: текущую конверсию, сезонность, долю новых/возвратных, влияние каналов. Для низкой базы даже большой относительный лифт может быть микроскопическим в абсолюте. Для высокой базы — наоборот, небольшое изменение легко оказывается значимым.
Не гонитесь за ранней значимостью. Если смотрите на p-value каждый день и останавливаете тест на первом «плюсе», вы почти гарантированно ловите ложный победитель. Лучше заранее определить MDE, минимальный заметный эффект, и считать нужную выборку от него.
Отдельно следите за сегментами: общий uplift может скрывать провал у mobile или у новых пользователей. А если в одном варианте меняется и текст, и layout, и оффер, вы уже не знаете, что именно сработало.
Хороший AB-тест не обещает чудо-рост, он даёт воспроизводимое решение. Начинайте с узкой гипотезы, а не с желания «улучшить всё сразу».
Experiment Desk
@experiment_desk
AB-тест проваливается не из-за статистики, а из-за плохой постановки
Этот пост опубликован в Telegram-канале Experiment Desk. Подписаться можно по ссылке: @experiment_desk.