А/Б тест на 100 человек — это не тест, это угадывание

А/Б тест на 100 человек — это не тест, это угадывание

Большинство арбитражников запускают А/Б тесты, но не знают, сколько трафика нужно, чтобы результат был надёжным. Вот что происходит: тратят 100 баксов, видят, что вариант А выигрывает на 20%, останавливают тест и масштабируют. Через два дня А падает, потому что выигрыш был случайностью.

Правило простое — нужен минимум статистический размер выборки. Для типичной рекламной кампании (конверсия 1-5%) это минимум 500-1000 конверсий по каждому варианту. Если конверсия 2%, то один вариант должен набрать минимум 10-15 тысяч показов. Меньше — шум.

Второй момент: не меняй всё сразу. Если тестируешь креатив, оставь целевую аудиторию, ставку и лендинг неизменными. Один параметр = один тест. Иначе не поймёшь, что сработало.

Третье — не глядь на результаты каждый день. Статистика стабилизируется только через 3-7 дней, в зависимости от объёма трафика. Ранние выводы почти всегда ошибочны.

Самое главное: заведи Google Sheets или Excel и записывай там результаты всех тестов — креативы, аудитории, метрики. Через месяц увидишь паттерны: какие элементы работают, какие нет. Это даст тебе преимущество в следующих кампаниях намного больше, чем отдельный «выигрышный» тест.