Перестал гонять сравнительные тесты на маленьких объёмах, и споров в команде стало меньше

Перестал гонять сравнительные тесты на маленьких объёмах, и споров в команде стало меньше

Раньше делал так: два варианта, немного трафика, смотрю, какой лучше. Выбирал победителя, шёл дальше. Потом заметил, что при повторе того же теста победитель иногда менялся местами.

Дошло не сразу. При малом числе событий разница в цифрах — это в основном случайность, а не свойство креатива. Я принимал решения по подбрасыванию монетки и был уверен, что читаю данные.

Теперь правило простое. Если разрыв между вариантами меньше, чем обычный разброс между одинаковыми днями одной кампании, — результата нет, тест продолжается или закрывается без вывода.

Побочный эффект приятный: половина споров «мой креатив лучше» отвалилась сама. Спорить стало не о чем, пока данных мало. 🎲