Holdout tests — тот самый killer mmm для проверки, не рисуете ли вы рост на графике

Holdout tests — тот самый killer mmm для проверки, не рисуете ли вы рост на графике

Holdout — это не «ещё один эксперимент», а контрольная группа, которую вы намеренно не трогаете. Пока остальной трафик живёт своей жизнью, эта часть аудитории остаётся без воздействия, и на ней видно, был ли вообще инкрементальный эффект или просто шум attribution.

Что проверять до запуска:
• holdout должен быть случайным и стабильным, без подмены людей между группами
• доля теста должна хватать на измерение, иначе получите красивую статистическую икоту
• заранее решите, какой KPI главный: revenue, conversions, retention — не мешайте всё в один котёл
• не меняйте креативы, ставки и бюджетную логику посреди теста, если не хотите убить интерпретацию

Самая частая ошибка — смотреть только на uplift в тестовой группе и игнорировать поведение контроля. Вторая — запускать holdout на слишком коротком окне и потом объявлять победу по двум всплескам и одному чиху. Третья — забывать про сезонность и другие каналы: иногда рост дал не ваш media, а внешний фон.

Если делать holdout аккуратно, он быстро отрезвляет любую measurement-магиию и показывает, где реально работает incrementality, а где вам продали красивую атрибуцию. Может, конечно, ни хуя не взлетит, если тест собран на коленке — но именно поэтому его и стоит собирать без коленки.