Ничья в тесте — самый частый исход и самый неудобный для отчётности. Разницы нет, объяснять нечего, а времени потрачено столько же, сколько на успешный эксперимент. Отсюда искушение дожать: посмотреть по сегментам, продлить срок, найти хоть какое-то улучшение.
Здоровое отношение другое. Отсутствие разницы означает конкретную вещь: изменение, которое вы считали важным, аудиторию не задевает. Это ценная информация, потому что она экономит будущие усилия в том же направлении.
Дальше вопрос практический: что внедрять. Если варианты равны по результату, решение принимается по другим соображениям — что проще поддерживать, что дешевле, что лучше согласуется с остальным интерфейсом. Новое ради новизны внедрять не стоит.
И полезная привычка: записывать ничьи так же аккуратно, как победы. В большинстве команд журнал экспериментов состоит из одних успехов, и через год никто не помнит, что три похожие идеи уже проверялись и ничего не дали. Тогда их проверяют заново, тратя тот же трафик и то же время 📋
A/B Тесты
@ab_tests_ru_n1k
Ничья в тесте — самый частый исход и самый неудобный для отчётности. Разницы нет, объяснять нечего, а времени
Этот пост опубликован в Telegram-канале A/B Тесты. Подписаться можно по ссылке: @ab_tests_ru_n1k.