Когда результат теста можно считать результатом, а не совпадением

Когда результат теста можно считать результатом, а не совпадением

Самая дорогая ошибка в разборе кампаний — вывод на малых числах. Разберём на условном примере.

Вариант А: 12 конверсий на 400 кликов, то есть 3%. Вариант Б: 18 на 400, то есть 4,5%. Разница выглядит как полуторакратное превосходство. На таких объёмах случайное отклонение легко даёт такой разброс само по себе.

На что смотреть:

— считать надо не клики, а конверсии: десятки конверсий на вариант — минимум, при котором разговор вообще имеет смысл;
— чем меньше разница между вариантами, тем больше данных нужно, чтобы её подтвердить;
— тест должен захватывать полный недельный цикл: будни и выходные ведут себя по-разному;
— ранняя остановка при первом красивом перевесе — способ систематически ошибаться в свою пользу.

Вывод: если вы не можете назвать количество конверсий на вариант, у вас нет результата теста. У вас есть впечатление.