Какой объем трафика нужен для честного теста, а не для самообмана

Какой объем трафика нужен для честного теста, а не для самообмана

Малый объем почти всегда врет: один случайный лид или отказ легко ломает картину. Для теста важно не «увидеть профит», а собрать достаточно наблюдений, чтобы разница между связками была не шумом.

Минимум считай не по кликам, а по целевому событию: если конверсия низкая, тест на 20-30 лидах ничего не скажет. Сравнивать нужно только одно изменение: оффер, крео или преленд. Когда меняешь все сразу, статистика превращается в угадайку.

Правила простые:
— не трогай бюджет до набора хотя бы нескольких десятков конверсий;
— держи одинаковые условия показа;
— смотри не только CR, но и разброс по дням и источникам;
— если результат держится только на одном удачном всплеске, тест еще не закончен.

Если событие редкое, увеличивай окно теста, а не делай выводы раньше времени. Для дорогих действий нужен больший массив, чем для простого клика или регистрации. Чем ниже частота конверсии, тем больше трафика нужно, чтобы доверять результату.

Сначала собери объем, потом режь слабое. Иначе ты оптимизируешь не связку, а случайность.

—
Если тема зашла, посмотри @SourceWatch