A/B-тесты в TG-боте — это не экспериментальная лаборатория, а 3 feature flags и один лог

В боте не нужен тяжелый experimentation stack. На практике хватает: • флага на ветку сценария • флага на текст/оффер • флага на показ кнопки или шага. Главное — чтобы каждый флаг можно было включить на сегмент, а не на весь трафик сразу.

Не размазывайте тест по всему флоу. Тестируйте один узкий узел: первый экран, paywall, CTA, форму ввода. Если меняете сразу и копирайт, и порядок шагов, и цену — вы не узнаете, что именно сработало. Для бота это особенно критично: у него мало терпения на «погуляем по продукту».

Сегментация должна быть стабильной: user_id, chat_id или связка с внутренним ключом. Не раскидывайте пользователей случайно по куки, если у вас есть вход через Telegram. И обязательно фиксируйте, какой вариант увидел человек, иначе повторный вход сломает картину и вы получите шум вместо сигнала.

Логируйте минимум: вариант, событие, время до конверсии, выход из сценария. Этого достаточно, чтобы понять, где фича реально двигает деньги, а где просто нравится команде. Если тест не влияет на ключевую метрику, выключайте его без сожаления. Тесты в TG-боте нужны не ради «научности», а чтобы быстрее найти рабочую механику и не трогать лишний код.