Соблазн проверить сразу пять вариантов вместо двух понятен: кажется, что так быстрее найдётся лучший. На практ

Соблазн проверить сразу пять вариантов вместо двух понятен: кажется, что так быстрее найдётся лучший. На практике это работает наоборот, и по двум причинам.
Первая — трафик делится. При пяти вариантах каждый получает пятую часть аудитории, и нужное количество наблюдений набирается во столько же раз дольше. Тест, который мог занять две недели, растягивается на пару месяцев, за которые изменится и сезон, и реклама, и сам сайт.
Вторая причина тоньше. Чем больше вариантов сравнивается, тем выше вероятность, что кто-то из них случайно окажется впереди. Сравнивая много вариантов одновременно, вы почти гарантированно найдёте победителя, даже если все они одинаковы. Именно так рождаются результаты, которые не воспроизводятся при повторной проверке.
Практичный подход: сначала проверять принципиально разные решения, а не оттенки одного. Два-три варианта, различающиеся по смыслу, дадут больше знания, чем десяток мелких вариаций. А тонкую доводку имеет смысл делать позже и только там, где уже понятно направление.