A/Б тест монетизации: как не запутаться в результатах

A/Б тест монетизации: как не запутаться в результатах

А/Б тесты рекламных форматов — тема где легко обмануть себя. Запустили два варианта, один показал RPM выше на 15%, объявили победителя — и ошиблись.

Первая ловушка: недостаточная выборка. 15% разница на 500 сессиях — это статистический шум. Нужно минимум 5-10 тысяч сессий на каждый вариант и достаточное время (не менее недели) чтобы захватить все дни недели.

Вторая ловушка: тестировать в нестабильный период. Если вы запустили тест в понедельник и закончили в пятницу — выходные не попали. А поведение аудитории в выходные часто отличается.

Третья ловушка: смотреть только на RPM и игнорировать влияние на поведение аудитории. Вариант с агрессивной рекламой может дать +20% к RPM и -15% к времени на сайте. В долгосрочной перспективе это минус.

Правильный тест: четкая гипотеза до запуска, заранее определённый размер выборки, несколько метрик включая пользовательские, полные недельные циклы.