Как за неделю запустить первый инкрементальность-тест без сторонних платформ

Как за неделю запустить первый инкрементальность-тест без сторонних платформ

Сторителлинг про «волшебную MMM-таблицу» или гео-тест на миллион бюджета — это для тех, у кого есть штат аналитиков и data-инженер. В реальности маркетолог средней компании может проверить инкрементальность (прирост, который случился именно из-за рекламы) сам, опираясь на бесплатные инструменты и один внутренний эксперимент.

**Шаг 1. Сформулируйте одну гипотезу**
Не «измерим всё». Возьмите конкретный канал — например, performance-креативы (рекламные объявления с оплатой за действие) в контексте — и вопрос: «Если отключить эту группу объявлений на 14 дней, выручка упадёт не более чем на X%?». Гипотеза должна иметь число. Без числа вы получите красивый отчёт и ноль решений.

**Шаг 2. Выберите дизайн — holdout (контрольная группа, которую не трогаем)**
Самый простой вариант — выделить 10–15% аудитории (холдаут) и не показывать им рекламу. Остальные 85% — тест. Не трогайте «серые» сегменты (тех, кого сложно атрибутировать — офлайн, органика, прямой трафик). У вас должна быть возможность честно измерить разницу между двумя группами по одному и тому же окну атрибуции (сроку, за который считается конверсия).

**Шаг 3. Зафиксируйте метрику заранее**
Главная ошибка — смотреть на данные каждый день и искать, «что сломалось». Запишите до старта:
— целевую метрику (выручка, новые пользователи, повторные покупки)
— окно наблюдения
— минимальный детектируемый эффект (на сколько процентов изменение реально заметить при вашем трафике)
— правило остановки (например, тест идёт ровно 14 дней, что бы ни происходило)

**Шаг 4. Считайте не только среднее**
Средние в рекламе врут из-за выбросов. Используйте бутстрап (метод пересчёта распределения результата путём случайной выборки из имеющихся данных) — сгенерируйте 1000 псевдовыборок из данных теста и контроля, посмотрите доверительный интервал разницы. В таблице или в Python — 15 строк кода. Если интервал включает ноль, инкрементальности нет, и это тоже результат.

**Шаг 5. Примите решение и зафиксируйте в логе**
Что дальше: урезать канал, пересмотреть креативы, масштабировать, проверить другой сегмент. Запишите вывод в общий лог экспериментов — название, гипотезу, результат, решение. Через полгода этот лог станет главным аргументом в переговорах с финансами о бюджете.

Один такой тест в квартал — и у вас появляется культура экспериментов, а не отчётность «ради отчётности».

— @ExperimentationRoom