Тестовая среда для агента — это не «песочница», а фильтр перед сливом бюджета в прод

Тестовая среда для агента — это не «песочница», а фильтр перед сливом бюджета в прод

Сначала гоняйте агента на данных, где ошибка не стоит денег: копии кабинетов, фейковые лиды, тестовые листы, пустые папки креативов. Важно проверить не «умность», а поведение: умеет ли он остановиться, если инструмент вернул пустой ответ, и не пишет ли статус «готово», когда шаг провалился.

Минимальный стенд для performance-агента:
— логирование каждого tool call
— явные лимиты на число действий и время
— dry-run для всех операций, которые могут изменить кабинет
— отдельный хранилище для промпта, ответа модели и итогового решения

Проверяйте три вещи: 1) повторяемость — один и тот же сценарий проходит одинаково; 2) деградацию — что делает агент, если API медлит или падает; 3) human-fix rate — сколько раз байер вынужден вмешаться руками. Если агент ломается только на «идеальном» сценарии, он ещё не готов к боевому деплою.

Хорошая привычка — держать рядом чеклист отката: как отменить действия, где лежит последняя валидная конфигурация, кто подтверждает спорные шаги. Тогда агент остаётся инструментом, а не источником сюрпризов.