Тест проверяет влияние одного изменения на одну главную метрику. До старта запишите гипотезу, варианты, аудиторию и критерий успеха. «Новый заголовок увеличит переходы» — проверяемо; «страница станет лучше» — нет.
Перед запуском проверьте:
— группы случайны и не пересекаются;
— пользователь видит только один вариант;
— трафик и условия показа сопоставимы;
— правило остановки задано заранее;
— главная метрика одна, остальные диагностические.
Не останавливайте тест сразу после удачного скачка и не перезапускайте его при неудобном результате. Частые проверки повышают риск принять шум за эффект. Оценивайте разницу вместе с размером выборки и доверительным интервалом. Рост кликов не оправдывает падение заявок или выручки.
В отчёте сохраните период, варианты, сегменты, основную метрику и причины исключения данных. Не меняйте условия посреди теста: иначе итог будет трудно сравнить и повторить.
Решение принимайте по заранее заданному правилу, а не по самому красивому графику. сей.
Иванов | Рост и продвижение 130
@ivanov_growth_230
A/B-тест без самообмана: 6 проверок, которые отделяют эффект от случайного шума
Этот пост опубликован в Telegram-канале Иванов | Рост и продвижение 130. Подписаться можно по ссылке: @ivanov_growth_230.