Эксперименты стали короче, а контроль — шире

Эксперименты стали короче, а контроль — шире

За последний месяц в проектных обсуждениях всё чаще вижу один и тот же паттерн: команды сокращают горизонт эксперимента до минимально достаточного, но одновременно расширяют набор контрольных срезов.

Раньше A/B-тест нередко строили вокруг одного главного показателя — конверсии или заявки. Сейчас к нему почти всегда добавляют:
— сегменты по источникам и устройствам;
— удержание на 7-й и 30-й день;
— вклад в выручку в рамках атрибуции на стороне сервера;
— проверки на пересечение с другими активностями.

Отдельно заметно, что в B2B чаще смотрят не только на лид, но и на последующую активность в цепочке RevOps — доходит ли пользователь до продажи и дальше в работу с клиентом. Параллельно растёт запрос на более частые промежуточные проверки, чтобы не ждать финала длинного цикла.

У вас тоже стало больше коротких тестов с широким набором контрольных разрезов?

— @ExperimentationRoom

Соседняя редакция @RetentionRoomRu недавно писала об этом под другим углом