Перед запуском стоит назвать одну метрику, по которой будет принято решение. Не список из семи показателей, а

Перед запуском стоит назвать одну метрику, по которой будет принято решение. Не список из семи показателей, а одну. Всё остальное — наблюдение и контроль, но не основание объявлять победу.
Причина в том, что чем больше показателей вы смотрите, тем выше шанс, что хотя бы один вырастет случайно. Если решение принимается по принципу «что-нибудь да улучшилось», тест перестаёт проверять гипотезу и начинает искать оправдание.
Выбор главной метрики полезен ещё и тем, что заставляет договориться о цели. Часто оказывается, что команда хотела разного: одни ждали роста кликов, другие — выручки, третьи — количества заявок. Формулировка «решаем по доле оформленных заказов» снимает этот спор до эксперимента, а не после.
Рядом с главной метрикой полезно держать ограничители — показатели, которые не должны ухудшиться. Например, вариант поднял число заявок, но испортил их качество, или увеличил добавления в корзину, а выручка упала. Такое изменение внедрять нельзя, даже если формально основная метрика выросла 📍