3 ошибки в CRO-тестах, из-за которых «победитель» потом исчезает

3 ошибки в CRO-тестах, из-за которых «победитель» потом исчезает

Самая частая проблема — тестируют слишком узкий участок воронки и называют это улучшением продукта. Кнопка могла вырасти, но общий CR не сдвинулся: эффект съели другие шаги.

Вторая ошибка — слишком короткий тест. Если в выборке мало сессий, а сезонность и день недели не учтены, «лифт» легко оказывается шумом. Смотрите не только на p-value, но и на доверительный интервал: если он широкий и включает около нуля, уверенность слабая.

Третья — меняют сразу несколько вещей. Заголовок, CTA, сетку, оффер и форму одновременно. После этого невозможно понять, что именно сработало. Такой тест полезен только как редизайн, но не как эксперимент.

Проверьте перед запуском:
— одна гипотеза = один основной фактор;
— заранее зафиксированная метрика успеха;
— минимальный размер выборки и срок остановки;
— сегменты, где эффект может отличаться.

Если тест нельзя объяснить одной фразой, его потом будет трудно повторить.