Запустил A/B тест иконок: три метрики, на которые смотрю в первые сутки

Тест иконки — самая дешёвая проверка гипотезы в сторе. Код не трогаешь, большое обновление на ревью не отправляешь.

В первый день я принципиально не смотрю на установки. Данных мало, разброс огромный, любой вывод будет случайностью. Смотрю на другое:

— доля людей, которые дошли от карточки до кнопки установки;
— сколько открыли страницу и ушли, не пролистав первый экран;
— не просел ли брендовый трафик — если просел, дело в сезоне, а не в иконке.

Условный пример, почему спешить нельзя. Вариант А даёт 20% на 80 показах, вариант Б — 25% на 90. Выглядит как победа, а на деле разница внутри погрешности. Жду хотя бы несколько сотен показов на вариант.

Главное правило, к которому пришёл: одна иконка — одна гипотеза. Когда меняю разом цвет, фон и символ, потом не понимаю, что именно сработало.