Вопрос «сколько ждать» надо решать до запуска, а не в процессе. Иначе тест заканчивается тогда, когда результа

Вопрос «сколько ждать» надо решать до запуска, а не в процессе. Иначе тест заканчивается тогда, когда результат становится приятным, и это уже не эксперимент, а поиск удобной цифры.
Логика тут простая. Чем меньше ожидаемое изменение, тем больше наблюдений нужно, чтобы отличить его от случайных колебаний. Крупная переделка страницы способна дать заметную разницу и подтверждается быстрее. Смена цвета кнопки, если она вообще что-то меняет, меняет мало — и на скромном трафике такой эффект в принципе неразличим.
Отсюда полезное следствие: часть тестов просто не стоит запускать. Если по прикидкам для различимого результата нужны месяцы, лучше потратить это время на изменение покрупнее либо принять решение по здравому смыслу и идти дальше.
И отдельно про длительность в днях. Даже при большом трафике неправильно останавливать тест раньше полной недели: поведение в будни и выходные отличается, и тест, проживший три дня, измеряет не вариант, а день недели.
Правило простое: объём выборки и срок фиксируются заранее и записываются. Всё, что решается по ходу, легко подстраивается под желаемый вывод 🎯