Feature flag — не индульгенция: как rollout превращает тест в помойку

Feature flag — не индульгенция: как rollout превращает тест в помойку

Флаг нужен, чтобы отделить доставку кода от продуктового решения. Если им одновременно меняют аудиторию, логику и метрики — эффекта вы не измерите. Получится грязный коктейль из релиза, хотфикса и надежды.

Минимальный порядок:
— владелец флага, срок жизни, план удаления;
— стабильный бакетинг: пользователь не прыгает между версиями;
— процент раскатки меняется по плану, не по настроению;
— guardrails заданы до старта: ошибки, latency, воронка, деньги;
— экспозиция логируется отдельно от клика и конверсии.

Анти-паттерн: дали 10%, увидели шум, подняли до 50%, откатили, потом посчитали «итоговый эффект». Нет. После ручных дерганий и смены сегментов это уже не A/B-тест, а журнал инцидента.

Rollout можно совмещать с экспериментом, но без цирка: рандомизация до первого показа, один пользователь — одна версия, критерии остановки заранее, SRM на каждом этапе.

Флаг без дисциплины — рубильник для хаоса. До раскатки зафиксируйте, кто меняет процент, при каких сигналах откат и какие данные валидны. Иначе вы просто быстрее разнесете ошибку.