Пять ошибок в A/B-тестах, из-за которых выводы оказываются ложными

— Остановка теста в момент, когда нравится результат. Ранний всплеск почти всегда выравнивается.
— Одновременная проверка нескольких изменений. Победитель известен, причина победы — нет.
— Неравномерное распределение трафика. Если варианты получают разные источники, сравниваются источники, а не страницы.
— Подмена метрики. Рост кликов по кнопке при падении подтверждённых заявок — это ухудшение, а не победа.
— Отсутствие записанной гипотезы. Без неё результат подгоняется под любое объяснение задним числом.

Большинство этих ошибок не в инструментах, а в дисциплине. Условия теста, записанные до запуска, снимают почти все.