После завершения теста часто начинается копание по сегментам: у мужчин выросло, у мобильных пользователей упал

После завершения теста часто начинается копание по сегментам: у мужчин выросло, у мобильных пользователей упало, а в одном регионе результат вообще замечательный. Отсюда рождается вывод: внедрим для тех, кому помогло.
Опасность в том, что сегментов много, и в каждом наблюдений меньше, чем в целом. Если перебирать разрезы достаточно долго, обязательно найдётся группа с впечатляющей разницей, полученной случайно. Проверка вслепую по десятку сегментов почти гарантированно даёт красивую находку, которая не повторится.
Разделение простое. Сегменты, названные до эксперимента как часть гипотезы, — законная часть анализа. Сегменты, найденные после, при просмотре результатов, — это не вывод, а идея для следующего теста. Формулировка тоже должна быть осторожной: не «для мобильных работает», а «есть предположение, что для мобильных работает, проверим отдельно».
Правило, которое стоит держать в голове: анализ после факта хорош для гипотез и плох для решений. Решение принимается по тому, что было заявлено заранее.