Бросил делать мелкие тесты по выходным — и перестал ловить ложные выводы

Бросил делать мелкие тесты по выходным — и перестал ловить ложные выводы

Раньше выходные казались удобным временем: сижу дома, запускаю пару мелких тестов, в понедельник смотрю. Казалось, работаю больше остальных.

Проблема в том, что поведение аудитории в выходные отличается от будней, а объём трафика на многих площадках другой. Тест на маленьком бюджете за субботу-воскресенье давал цифры, которые не повторялись в будни. Я делал выводы, переносил их на основную кампанию и получал совсем другой результат.

Как переделал:

— любой тест теперь идёт минимум через полную неделю, чтобы захватить и будни, и выходные;
— бюджет на тест считаю не по дням, а по объёму накопленных действий;
— мелкие запуски на пару дней оставил только для проверки технической части: долетают ли события, работает ли ссылка.

Вывод: короткий тест отвечает на вопрос «не сломано ли», а не на вопрос «работает ли это».