SRM: тест ещё не начался, а вы уже сломали рандомизацию в сплите

SRM: тест ещё не начался, а вы уже сломали рандомизацию в сплите

SRM — sample ratio mismatch: ожидали 50/50, получили 54/46. Это не «ну бывает», а красная лампа: группы могли отличаться до воздействия фичи. Любой p-value после этого — декоративная гирлянда на мусорном баке.

Типовые причины:
— баг в assignment: часть пользователей всегда летит в control или treatment;
— фильтры после рандомизации: выкинули «неактивных», но несимметрично;
— логирование событий отваливается в одной ветке;
— sticky bucketing сломан: пользователь переезжает между группами;
— rollout/feature flag применён не ко всем платформам одинаково.

Как проверять без шаманства: тестируйте соотношение групп на ключевых срезах — платформа, страна, новый/старый пользователь, версия клиента, источник трафика. SRM в общем трафике может быть чистым, а в iOS-сегменте — уже пожар.

Правило жёсткое: если SRM значимый, сначала чините пайплайн и дизайн, потом смотрите метрики. Не «добавим это в limitations», не «бизнесу срочно нужен ответ». Срочный мусор всё равно мусор.

SRM — это не мелкая статистическая заноза, а проверка права вообще интерпретировать эксперимент. Не прошли её — результата нет.