Если в тесте одновременно смотреть на CTR, CPC, CR, EPC и ROI, алгоритм быстро теряет ориентир. Для сплита нужен один главный KPI, который напрямую связан с деньгами, а не набор красивых цифр.
Выбирать его стоит так:
— если есть продажи и нормальная атрибуция — берите ROI или profit;
— если продаж мало и нужна ранняя оценка — EPC или CPA;
— если льёте на лиды — CPL, но только когда качество лида потом проверяется отдельно;
— если тестируете крео и оффер на холодном трафике — сначала CTR как фильтр, но не как финальный KPI.
Главная ошибка — менять цель по ходу сплита. Сначала смотрят CTR, потом решают, что важнее CR, потом начинают считать ROI по маленькой выборке. В итоге решение принимают не по данным, а по шуму. Один сплит — один критерий победы. Остальное оставьте в вспомогательном отчёте.
Хорошее правило: KPI должен отвечать на вопрос «масштабируем или режем?». Если метрика не помогает принять это решение, она лишняя.
Optimize Loop
@optimizeloop
Один KPI на сплит: как не задушить оптимизацию лишними метриками
Этот пост опубликован в Telegram-канале Optimize Loop (@optimizeloop). Все его публикации — на странице канала.
Открыть в Telegram