Вопрос «сколько потратить на тест» — один из самых частых. И один из самых неправильно понимаемых.
Статистически значимый тест требует достаточного количества конверсий — не кликов. Минимум 30-50 конверсий на каждый вариант, лучше 100+. Если ваш CPA составляет 2000 рублей, а вы хотите сравнить два варианта объявления — бюджет теста минимум 120-200 тысяч рублей.
Что происходит если экономить: принимаете решения на 5-10 конверсиях — это статистический шум. Победитель по маленькой выборке очень часто проигрывает на большом объёме.
Альтернатива для ограниченных бюджетов: тестируйте не целевые конверсии, а промежуточные (добавление в корзину, клик на кнопку), используйте более широкие аудитории для ускорения набора данных, тестируйте меньше переменных одновременно.
Помните: дорогой правильный тест дешевле дешёвого неправильного.
Bid Math
@BidMathPro
Экономика тестов: сколько денег нужно на один полноценный эксперимент.
Этот пост опубликован в Telegram-канале Bid Math. Подписаться можно по ссылке: @BidMathPro.