А/Б-тестирование: как понять, что вариант действительно лучше, а не просто повезло

А/Б-тестирование: как понять, что вариант действительно лучше, а не просто повезло

А/Б-тест полезен не тогда, когда вариант B «победил», а когда результат можно повторить. Сформулируйте одну гипотезу: например, новый первый экран должен повысить конверсию в целевое действие. Не меняйте одновременно оффер, креатив и аудиторию — причина эффекта останется неизвестной.

До запуска зафиксируйте:
— что именно меняется, а что остаётся прежним;
— одну основную метрику и 1–2 защитные;
— равное распределение трафика;
— период и минимальный объём данных.
Смотрите не только на CTR, но и на стоимость целевого действия, конверсию дальше по воронке и итоговую маржинальность.

Не делайте вывод по первым часам и не переносите результат одного сегмента на весь трафик. Источники, плейсменты, лимиты, расписание и правила атрибуции должны быть одинаковыми. Если данных мало, называйте вывод предварительным, а не объявляйте победителя.

Частые ошибки — менять гипотезу в процессе, выбирать метрику после результата и запускать сразу много вариантов. Проверяйте одну сильную идею за раз, записывайте изменения и повторяйте удачный тест на отдельном сегменте.

Хороший А/Б-тест — это не поиск красивого процента, а способ доказать, какое изменение действительно улучшает воронку.