Тест начинается не с интерфейса эксперимента, а с формулировки того, что вы проверяете. Если гипотезы нет, люб

Тест начинается не с интерфейса эксперимента, а с формулировки того, что вы проверяете. Если гипотезы нет, любой результат можно объяснить задним числом, и тест превращается в способ подтвердить то, во что уже верили.
Рабочая формулировка состоит из трёх частей: что меняем, что от этого ожидаем и почему. Последняя часть важнее всего. Ответ «потому что у конкурента так» — не причина. Причина звучит иначе: мы видим, что люди не доходят до оплаты, из записей сессий и обращений в поддержку понятно, что их останавливает неясность условий доставки, поэтому мы показываем условия раньше и ждём роста доли завершённых заказов.
Такая формулировка сразу даёт две вещи. Во-первых, метрику, которую вы будете смотреть, — она названа до старта, а не выбрана потом из тех, что выросли. Во-вторых, знание, которое останется независимо от исхода: подтвердилось предположение о причине или нет.
Тесты без гипотезы дают набор случайных победителей и никакого понимания. Тесты с гипотезой накапливают знание о своей аудитории, и со временем это ценнее любого отдельного выигранного варианта 💡