Почему большинство тестов падают — неправильная метрика, а не неправильный креатив

При А/Б тесте арбитражники часто смотрят на CTR или CPC, забывая о том, что креатив может быть отличным, но сегмент просто не конвертит. Результат: убивают рабочий вариант и ищут новый креатив, хотя проблема в аудитории или оффере.

Перед запуском теста проверь три вещи. Первое — размер выборки. Если на каждый вариант меньше 500 конверсий, результат просто шум. Второе — время теста. Минимум 3–5 дней, чтобы уловить дневные и ночные циклы, разные источники трафика. Третье — изолируй только одну переменную. Если менял креатив И целевую аудиторию И бид одновременно, не поймёшь, что сработало.

Классическая ошибка — останавливать тест на первый значимый результат. Даже если статистика показала победителя, дай тесту ещё день–два. Выборка может быть слишком мала или ты поймал случайный всплеск трафика.

Финальный совет: документируй результаты каждого теста — креатив, сегмент, период, итоговый результат. Через месяц ты заметишь паттерны, которые работают именно в твоём нише, и перестанешь тестировать вслепую.