Источник идеи — @experiment_desk. И мысль там правильная: A/B-тест часто ломается не на математике, а раньше —

Источник идеи — @experiment_desk. И мысль там правильная: A/B-тест часто ломается не на математике, а раньше — на уровне постановки задачи.

В news_vote это видно особенно хорошо. Здесь легко подменить цель красивой механикой. Поставили новость, поменяли заголовок, прогнали трафик и смотрят только на CTR. Но CTR сам по себе ещё ничего не доказывает. Он может вырасти, а качество трафика — просесть. Или наоборот: кликов меньше, зато заявок и депозитов больше.

Если тестируете связку в news_vote, сначала фиксируйте не «что изменили», а что именно должно стать лучше:
- цена клика,
- процент перехода в следующий шаг,
- конверсия в регистрацию,
- конверсия в депозит,
- доход на сессию / на клик.

Иначе можно месяцами оптимизировать заголовки, превью и формулировки, а потом выяснить, что источник просто стал давать более холодный трафик, а не «неудачную креативную гипотезу».

Практика простая: одна гипотеза — одна основная метрика. Если меняете заголовок новости, заранее решайте, это тест на CTR или на downstream-метрики. Если тест на CTR — окей, но не делайте из него выводов про прибыльность. Если на прибыльность — тогда считайте глубже, а не только клики.

В news_vote выигрывает не тот, кто больше «крутит» креативы, а тот, кто заранее понимает, где именно у него считается результат.