Самая распространённая ошибка в тестировании — смотреть на результаты каждый день и остановить тест, как тольк

Самая распространённая ошибка в тестировании — смотреть на результаты каждый день и остановить тест, как только показалась разница. Кажется, что это разумная экономия времени. На деле это способ получить победителя из чистого шума.
Механика неприятная. В начале эксперимента данных мало, и разница между вариантами скачет: то один впереди, то другой. Если проверять достаточно часто и останавливаться на первом красивом моменте, рано или поздно такой момент наступит почти всегда — даже если варианты одинаковы. Вы просто поймали случайное колебание.
Отсюда правило: срок и объём фиксируются заранее, а промежуточные подглядывания не должны влиять на решение. Смотреть можно ради контроля, что тест не сломался и трафик распределяется правильно, но не ради вывода.
Есть и обратная сторона — вечный тест. Если эксперимент идёт бесконечно в надежде, что разница наконец появится, это то же самое подглядывание, только растянутое. Отсутствие результата на запланированном объёме — тоже результат: значит, эффект настолько мал, что для бизнеса не имеет значения.