Почему A/B-тест с «значимостью 95%» всё ещё может быть плохим тестом

Почему A/B-тест с «значимостью 95%» всё ещё может быть плохим тестом

Статистическая значимость не спасает эксперимент, если дизайн сломан до запуска. Частая ошибка — смотреть только на p-value и забывать, что тест проверяет не интерфейс вообще, а конкретную гипотезу в конкретной аудитории.

Перед запуском проверьте четыре вещи:
— есть ли одна основная метрика, а не пять «равноправных»;
— задан ли минимальный обнаруживаемый эффект, ради которого тест вообще стоит трафика;
— рассчитана ли выборка до старта, а не «посмотрим по ходу»;
— не меняются ли одновременно оффер, трафик и UX-элемент.

Отдельный риск — ранняя остановка. Если команда каждый день заглядывает в результат и выключает тест при первом красивом лифте, фактическая ошибка первого рода растёт. Формально тест «победил», но повтор может провалиться.

Хороший эксперимент скучный: заранее описанная гипотеза, фиксированная метрика, рассчитанная длительность, правило остановки и сегменты только для анализа, а не для выбора победителя задним числом.

Если не можете объяснить, какой эффект искали и сколько наблюдений было нужно, это не A/B-тест, а измерение шума с интерфейсом.