Шпаргалка по A/B тесту push: что менять, сколько ждать и когда цифрам можно верить

Шпаргалка по A/B тесту push: что менять, сколько ждать и когда цифрам можно верить

Правило одной переменной. В паре вариантов отличается что-то одно: заголовок, или первая строка текста, или иконка, или время отправки. Меняете два элемента сразу — результат есть, объяснения нет.

Разделение аудитории. Группы набираются случайно из одного сегмента и должны быть сопоставимы по размеру. Нельзя тестировать на свежих подписчиках против старых: вы сравните не тексты, а два разных состояния базы.

Объём. Пока в каждой группе набралось меньше нескольких сотен кликов, разница в пару процентов ничего не значит. Условный пример: 210 кликов против 230 при тысячах показов — это шум, а не победа варианта.

Время. Ждать полный суточный цикл, даже если лидер определился за час. Утренние и вечерние получатели ведут себя по-разному.

Если хоть одно из четырёх правил нарушено, тест лучше считать пристрелкой и перезапустить.