Сколько нужно данных, чтобы результат A/B-теста что-то значил

Сравнивать проценты при десятке конверсий бессмысленно. На таких числах разница в полтора раза возникает сама собой, без всяких изменений на странице.

Чем меньше ожидаемая разница, тем больше нужно наблюдений. Улучшение на несколько процентов требует объёма, который многие проекты набирают месяцами. Это нормальный повод тестировать крупные изменения, а не мелкие.

Период теста должен захватывать полные недели. Будни и выходные различаются по поведению, и обрезанный период сдвигает результат.

Заранее определите, при каком объёме вы остановитесь и какую разницу сочтёте значимой. Решение «посмотрим, когда станет понятно» приводит к остановке теста в момент случайного всплеска.

Тест без заранее заданных условий — это не проверка гипотезы, а наблюдение.