А/Б тест ломается не в кнопке, а в постановке гипотезы и метрике

Если тестировать «всё подряд», вы получите шум вместо решения. Рабочая схема простая: меняете один элемент, заранее фиксируете цель и не трогаете креативы/оффер/аудиторию одновременно. Иначе непонятно, что именно дало эффект.

Проверьте перед стартом:
— одна гипотеза = одно изменение;
— одна основная метрика, а не 5 «на всякий случай»;
— одинаковые условия показа;
— достаточный объём трафика, иначе выводы случайны;
— заранее решите, что считаете победой: CTR, CR, CPL, удержание.

Частая ошибка — останавливать тест, когда «победитель уже виден» по первым 20-30 конверсиям. На малой выборке легко поймать ложный плюс: сегодня вариант A выше, завтра — B. Смотрите не на эмоции, а на стабильность результата и разброс по дням/сегментам. 📊

Если тест не дал ясного ответа, это тоже результат: значит, изменение слабое или метрика выбрана неверно. Не пытайтесь «додавить» вывод красивой цифрой — лучше пересоберите гипотезу и запустите новый тест с чистыми условиями.