Сколько конверсий нужно, чтобы не рубить тест на шуме

Сколько конверсий нужно, чтобы не рубить тест на шуме

Проблема не в количестве кликов, а в том, что одна-две конверсии почти ничего не говорят. На таком объёме легко перепутать удачу с рабочей связкой и наоборот слить то, что ещё не успело раскрыться.

Ориентир простой:
— 0–2 конверсии: решения не принимаем, только смотрим, нет ли явного мусора в трафике
— 3–5 конверсий: можно отсеять очевидно слабые гипотезы, но не делать вывод по крео
— 6–10 конверсий: уже видно, есть ли у теста направление, особенно если трафик однородный
— 15+ конверсий: можно сравнивать связки заметно увереннее и считать не только ROI, но и стабильность

Если трафик дорогой и конверсии редкие, важнее не число лидов само по себе, а структура: одинаковый ли источник, одно ли ГЕО, не скачет ли качество по креативам. Разные условия за один тест ломают статистику быстрее, чем низкий объём.

Правило для арбитражника простое: сначала добери минимум до уровня, где у тебя есть хотя бы 3–5 событий на каждую проверяемую гипотезу, а уже потом режь по результату. Иначе ты принимаешь решение не по тесту, а по случайности.