Эксперимент живёт не в вакууме. Пока он идёт, меняется реклама, случаются праздники, конкуренты запускают расп

Эксперимент живёт не в вакууме. Пока он идёт, меняется реклама, случаются праздники, конкуренты запускают распродажу, а на сайте параллельно правят что-то ещё. Всё это влияет на цифры, и часть влияния может быть принята за эффект варианта.
Хорошая новость: сравнение вариантов между собой во многом защищено от внешних факторов, потому что обе группы живут в одних условиях. Праздник или всплеск трафика поднимет обе, и разница между ними останется осмысленной.
Плохая новость: защита работает только если распределение честное и группы сопоставимы. Ломается это в конкретных случаях. Приток трафика из нового источника, попавшего преимущественно в одну группу. Изменения, внедрённые на сайте посреди теста. Смешение старых и новых посетителей, когда часть людей уже видела прежнюю версию.
Отсюда практические привычки: не запускать крупные изменения параллельно с важным экспериментом, проверять, что группы получились похожими по составу трафика, и обязательно записывать, что происходило в компании во время теста. Этот журнал очень пригодится, когда результат окажется странным.