A/B тесты ломаются не в статистике, а в постановке гипотезы и отборе метрик

A/B тесты ломаются не в статистике, а в постановке гипотезы и отборе метрик

Частая ошибка — тестировать «красоту» интерфейса и ждать роста бизнеса. Меняйте только один значимый элемент: заголовок, оффер, форму, CTA. Если в варианте А меняется и цвет кнопки, и текст, и порядок блоков, вы не поймёте, что именно сработало.

Перед запуском проверьте:
— одна гипотеза = одна цель;
— одна главная метрика, а не пять «на всякий случай»;
— одинаковый трафик и одинаковые условия показа;
— заранее заданный критерий победы и минимальный размер выборки.

Не останавливайте тест, когда «уже видно, что победил вариант B». Ранний стоп почти всегда переоценивает эффект. И не забудьте про сегменты: общий рост может скрывать просадку на мобильных или у новых пользователей.

Хороший A/B тест отвечает не на вопрос «какой дизайн лучше», а на вопрос «какое изменение двигает метрику и для кого».