А/Б тест на 100 визиторов — это не тест, это гадание

Арбитражники часто спешат с выводами. Запустили креатив, набежало сто кликов, один конвертился — "работает, масштабируем". Потом на масштабе всё падает. Дело не в креативе, а в размере выборки.

Минимальный порог — 50-100 конверсий на вариант, не кликов. Если CTR 2%, чтобы получить 100 конверсий, нужно 5000 кликов. Только тогда статистика становится надёжной. До этого — шум. Рассчитывай объём трафика заранее, не по ощущениям.

Второе: не меняй переменные одновременно. Если хочешь тестировать текст креатива, оставь картинку, цвет кнопки и лендинг прежними. Иначе не поймёшь, что именно повлияло на результат. Одна переменная — один тест.

Третье — статистическая значимость. Даже при 100 конверсиях разница в 5% между вариантами может быть случайной. Используй калькуляторы значимости или правило: если разница меньше 10-15%, жди больше данных перед выводом. Мелкие улучшения требуют больших объёмов.

Если торопишься масштабировать, лучше прогрей трафик на победившем варианте две недели. Реальные данные дольше, но надёжнее спешных тестов на малых выборках.