Убери 1 поле из формы — и не спорь с трафиком раньше теста

Убери 1 поле из формы — и не спорь с трафиком раньше теста

CRO работает не как «улучшение всего», а как поиск одного узкого места. Типичный паттерн: Variant A ▮▮▮▮ vs B ▮▮▮▮▮▮ — разница видна только после нормального MDE, то есть минимального эффекта, который вообще можно поймать.

Проверяй по очереди:
• шаг формы;
• оффер выше сгиба;
• доверие рядом с CTA;
• скорость загрузки на мобильном.

Если трогать всё сразу, p-value (вероятность увидеть такой разрыв случайно) становится красивым, но бесполезным: ты не понимаешь, что именно сдвинуло конверсию.

Смотри на сегмент: новый трафик, returning, mobile, desktop. Часто общий uplift 4.7% прячется в одном сегменте, а в другом вариант проигрывает. Без разбивки легко принять шум за закономерность.

Перед выводом считай не только CR, но и confidence interval — диапазон, в котором живёт эффект. Если он пересекает ноль, история ещё не закрыта. Read the number, not the story. [n=12k · 95%]