Встроенный сплит-тест в конструкторе полезен, но ожидания от него завышены. Он показывает две версии страницы

Встроенный сплит-тест в конструкторе полезен, но ожидания от него завышены. Он показывает две версии страницы разным людям и считает результат — на этом его возможности заканчиваются.

Что важно понимать до запуска.

Тест требует объёма. На небольшом потоке разница между вариантами будет шумом, и вы уверенно примете случайность за вывод. Чем реже целевое действие, тем дольше ждать.

Сравнивать надо по деньгам, а не по кликам. Вариант с яркой кнопкой легко выигрывает по нажатиям и проигрывает по подтверждённым заявкам.

Менять за раз стоит одно. Если переделали заголовок, картинку и форму сразу, вы узнаете, что новая версия лучше, но не узнаете почему — и не сможете повторить.

И про честность эксперимента: обе версии должны крутиться одновременно. Сравнение «на прошлой неделе было так, а на этой иначе» — не тест, а совпадение календаря.

Первым делом тестируют не цвет кнопки, а обещание в первом экране. Там разница бывает заметной, в остальных местах обычно нет.