Почему большинство тестов падают: ошибки в сплите, а не в креативе

А/Б тест — это не просто запуск двух вариантов. Это инструмент, который врёт, если его неправильно настроить. И арбитражники часто путают причину падения CTR с виной креатива, хотя проблема в самом тесте.

Первое: размер выборки. Запустил два креатива на 100 кликов каждый и выбрал победителя? Шум. Статистическая значимость требует минимум 1000-2000 конверсий на вариант, иначе колебания случайны. Гонишь на микробюджет — тест потеряет смысл раньше, чем соберёшь данные.

Второе: изолируй только одну переменную. Если менял и картинку, и текст, и CTA одновременно — не поймёшь, что сработало. Тестируй цвет кнопки отдельно от заголовка. Один параметр = один тест.

Третье: время сплита. Нельзя запустить тест в понедельник, посмотреть результат в среду и объявить победителя. Дневные колебания (утро vs ночь, будни vs выходные) исказят результат. Минимум 3-5 дней непрерывного сплита на одинаковый траффик.

Четвёртое: выравнивание условий. Один вариант идёт на девайсы, другой на ПК; один на геолокацию A, другой на B. Результаты несравнимы. Гарантируй одинаковые аудитории для обоих плеч теста.

Если соблюдаешь эти четыре пункта, результат сплита будет надёжен. Если хотя бы один проигнорировал — не верь цифрам, переделывай.