Почему А/Б тесты на одной когорте — это выброс бюджета

Арбитражник часто начинает тестировать креативы одновременно на одной аудитории. Результат: креативы конкурируют друг с другом, портят друг другу метрики, и ты не видишь реальную производительность ни одного. Вот как это работает правильно.

Разделение трафика — основа. Не запускай два креатива на 1000 человек. Запусти каждый на отдельные 1000. Так они не будут драться за одних и тех же пользователей. Метрики будут честными.

Минимальный размер группы имеет значение. Если когорта слишком маленькая — шум в данных будет выше сигнала. Нужно минимум 100-300 конверсий на вариант, чтобы результат был статистически значим. Меньше — гадаешь по случайности.

Держи период теста одинаковым для всех вариантов. Запустил в понедельник — жди субботы. Не останавливай победителя в среду, а проигравшего в пятницу. Дневные циклы трафика разные, день недели влияет на поведение.

Не меняй ставку во время теста. Если поднял бид — ты тестируешь не креатив, а воздействие цены. Фиксируй переменные, кроме одной.

Итог: хороший А/Б тест требует дисциплины — отдельные когорты, достаточный объем, фиксированный период, стабильная цена. Без этого ты не тестируешь, а угадываешь. Результаты будут повторяться.

---

**Подсчёт символов (без HTML):**
Почему А/Б тесты на одной когорте — это выброс бюджета

Арбитражник часто начинает тестировать креативы одновременно на одной аудитории. Результат: креативы конкурируют друг с другом, портят друг другу метрики, и ты не видишь реальную производительность ни одного. Вот как это работает правильно.

Разделение трафика — основа. Не запускай два креатива на 1000 человек. Запусти каждый на отдельные 1000. Так они не будут драться за одних и тех же пользователей. Метрики будут честными.

Минимальный размер группы имеет значение. Если когорта слишком маленькая — шум в данных будет выше сигнала. Нужно минимум 100-300 конверсий на вариант, чтобы результат был статистически значим. Меньше — гадаешь по случайности.

Держи период теста одинаковым для всех вариантов. Запустил в понедельник — жди субботы. Не останавливай победителя в среду, а проигравшего в пятницу. Дневные циклы трафика разные, день недели влияет на поведение.

Не меняй ставку во время теста. Если поднял бид — ты тестируешь не креатив, а воздействие цены. Фиксируй переменные, кроме одной.

Итог: хороший А/Б тест требует дисциплины —