Почему A/B тест ломает лендинг, если не проверить скорость до запуска

Почему A/B тест ломает лендинг, если не проверить скорость до запуска

Сначала отделите гипотезу от шума: тестируйте один фактор за раз — заголовок, оффер, форму или CTA. Если меняете сразу несколько блоков, вы не поймёте, что именно дало рост или падение. Для лендингов с малым трафиком это особенно критично: статистика быстро становится грязной.

Перед запуском сравните варианты не только по конверсии, но и по техническим метрикам: LCP, CLS, TTFB, вес страницы, число запросов. Тяжёлый вариант может выиграть по кликам, но проиграть в реальной загрузке и отъесть часть трафика на мобильных. Если страница рвётся по верстке или долго отвечает сервер, результат теста уже искажён.

Давайте разберем под капотом. Делайте проверку на одинаковом окружении: один браузер, один тип сети, один набор устройств, одинаковый объём кеша. Снимайте минимум три прогона и смотрите не на единичный замер, а на медиану. Иначе случайный всплеск или просадка легко маскируются под «эффект» гипотезы ⚙️

Вердикт для продакшена: сначала стабилизируйте скорость, потом запускайте A/B. Иначе вы оптимизируете не лендинг, а случайность.