А/Б тесты ломаются не из-за трафика, а из-за плохой постановки гипотезы

А/Б тесты ломаются не из-за трафика, а из-за плохой постановки гипотезы

Если тест запущен «проверить кнопку» без понятного сценария, вы получите шум вместо ответа. Хорошая гипотеза всегда отвечает на один вопрос: что меняем, на какой странице и какой метрикой меряем эффект.

Перед стартом проверьте 4 вещи:
— одна переменная в тесте, иначе непонятно, что повлияло;
— достаточно трафика на оба варианта, иначе выводы будут случайными;
— одна основная метрика, а не набор красивых, но вторичных цифр;
— тест не режет аудиторию по сегментам, где поведение сильно отличается.

Частая ошибка — останавливать тест, когда «кажется уже видно победителя». Ранний просмотр результатов почти всегда ловит случайный всплеск. Смотрите на тест только после заранее заданного объёма данных и одинакового периода показа для всех вариантов.

Ещё один практичный момент: если выиграл вариант с ростом клика, но упала заявка или выручка, победы нет. Воронка важнее локального улучшения. Считайте не только CTR, но и итоговое действие, ради которого вообще меняли интерфейс или оффер.

Хороший А/Б тест — это не поиск красивой цифры, а способ убрать догадки из решения.