Тест нельзя закрывать «по ощущениям», но и бесконечно добирать статистику тоже вредно. Остановку стоит смотреть по двум осям: есть ли сигнал по метрике и хватит ли бюджета, чтобы этот сигнал вообще стал заметным.
Рабочее правило: если зафиксирован минимально важный объём трафика, а разницы между связками нет — тест завершают. Если же одна связка стабильно держит перевес, а воронка не ломается, её можно оставлять в работе и прекращать сравнение. Не путай единичный всплеск с устойчивостью.
Смотри на три маркера:
— статистика ещё «плавает», но бюджет уже сжёг лимит гипотезы;
— конверсия есть только в первые клики, дальше тишина;
— разница между вариантами меньше, чем твоя допустимая погрешность.
В таких случаях продолжение теста редко даёт пользу: ты просто покупаешь шум.
Хорошая привычка — заранее задавать стоп-условие: сколько спендить, какой разрыв считать достаточным и при каком результате тест закрывается без споров. Тогда решение принимается по правилам, а не по эмоциям.
Optimize Loop
@optimizeloop
Когда останавливать тест: 3 сигнала, что дальше льёшь уже не данные, а надежду
Этот пост опубликован в Telegram-канале Optimize Loop (@optimizeloop). Все его публикации — на странице канала.
Открыть в Telegram