Эксперименты ломаются не на статистике, а на договорённостях

Эксперименты ломаются не на статистике, а на договорённостях

Я всё чаще вижу одну и ту же ошибку в командах, которые называют себя data-driven: они спорят о p-value, но не договариваются о том, что именно считают победой. В итоге эксперимент формально завершён, а решение всё равно принимается по ощущению руководителя.

Из практики: в проектах, где до запуска заранее фиксируют не только гипотезу и метрику, но и порог принятия решения, доля «сделали тест — ничего не поняли» заметно ниже. У нас в одном B2B-цикле после внедрения такого правила число тестов, дошедших до однозначного управленческого вывода, выросло примерно с 40% до 70%. Не потому, что статистика стала магической. Потому что исчезла возможность задним числом менять критерий успеха.

Я считаю, культура экспериментов — это не про количество A/B-тестов. Это про три вещи:

— единый язык между маркетингом, продуктом, аналитикой и sales;
— заранее согласованный способ принятия решения;
— уважение к отрицательному результату как к полезному знанию.

Особенно это важно сейчас, когда в B2B классическая воронка MQL → SQL всё слабее отражает реальную выручку, а в performance last-click всё чаще уступает server-side, MMM и incrementality. Если измерительная система меняется, то эксперимент должен быть не «локальной проверкой кнопки», а частью общей управленческой модели.

Моё мнение простое: сильная экспериментальная культура начинается не с инструмента, а с дисциплины. Если команда не умеет договориться о критерии остановки теста, она не умеет учиться. А если не умеет учиться, то и масштабировать рост ей рано.