А/Б-тест ломается не в аналитике, а на этапе подготовки — 5 частых ошибок

Если тест запущен на слабом основании, цифры только маскируют проблему. Перед стартом проверьте: одна гипотеза на один тест; меняется только один элемент; аудитория делится случайно, а не по удобству; период набора трафика одинаковый для обеих версий.

Дальше смотрите на качество замера. Не сравнивайте креативы, если у них разный объём показов или разный процент брака по трафику. И не делайте вывод по раннему всплеску: сначала фиксируйте минимум, который нужен для сравнения, потом принимайте решение.

Отдельно следите за “победителями” на короткой дистанции. В арбитраже часто выигрывает не самый яркий баннер, а тот, который стабильно держит конверсию на большем объёме. Поэтому полезно тестировать не только CTR, но и постклик: лид, депозит, удержание — по вашей воронке.

Ещё одна ошибка — менять сразу заголовок, оффер, визуал и призыв. В таком тесте не понятно, что именно сработало. Делайте шаги по очереди и сохраняйте всё в таблице: гипотеза, вариант, метрика, вывод. Это экономит бюджет лучше любого “чувства рынка”.

Если тест нельзя объяснить одной фразой, значит, он плохо поставлен: сначала дисциплина, потом масштаб.