Почему вы А/Б тестируете не то, что нужно

Арбитражники часто тестируют всё подряд: креативы, лендинги, оффера, геозвуки. Но редко кто считает, что именно даёт прибыль. Результат: потратили бюджет, собрали данные, а выводы неправильные.

Начните с метрики, которая движет деньги в вашу схему. Если вы на Email-трафике, это не CTR на письме и не открытия — это конверсия в целевое действие на лендинге и ROI по расходам. Всё остальное — вторично. Не тестируйте тему письма, если не знаете, сколько людей дошло до оффера и купило.

Второе: размер выборки. Если вы льёте 100 писем вариант А и 100 вариант Б, разница в 5% конверсии может быть просто шумом. Тестируйте на объёме, который даёт статистическую значимость — обычно это сотни или тысячи контактов за вариант. Если трафика мало, ждите накопления данных или тестируйте поочередно, а не параллельно.

Третье: время теста. Email-трафик ведёт себя по-разному в разные дни недели и часы. Если вы тестировали по понедельникам и запустили в пятницу, результаты могут отличаться. Проводите тесты на протяжении полного цикла — минимум неделю, лучше две.

Не усложняйте: тестируйте один параметр за раз, четко определите критерий победы заранее, смотрите на конечный результат в деньгах, а не на промежуточные метрики. Так вы увидите, что действительно работает.