Почему ваши growth-эксперименты падают: 5 ошибок на старте

Большинство экспериментов умирают не от плохой идеи, а от того, что их запускают без минимальной подготовки. Вот что убивает тесты чаще всего.

1. Нет чёткой гипотезы
Вы запускаете тест "давайте поменяем цвет кнопки и посмотрим". Это не гипотеза, это азартная игра. Сформулируйте: "Мы предполагаем, что красная кнопка повысит конверсию на X%, потому что аудитория Y более чувствительна к цвету". Без этого вы не поймёте, что именно сработало.

2. Размер выборки слишком мал
Вы собрали 50 конверсий и уже считаете результат валидным. Нужен калькулятор статистической значимости — в зависимости от базовой конверсии вам может понадобиться 500–5000 событий. Маленькие выборки дают фальшивые победы.

3. Тестируете одновременно три переменные
Меняете текст, изображение и CTA в один день. Если конверсия выросла — что сработало? Никто не знает. Тестируйте один элемент за раз.

4. Забывают про control-группу
Вы меняете логику и видите рост, но не сравниваете с тем, что было раньше. Control-группа — обязательна. Без неё вы ловите не эффект от теста, а естественные колебания или сезонность.

Вывод: прежде чем запустить тест, напишите гипотезу, проверьте объём выборки, меняйте одно, держите control. Это 80% успеха.