Тестовая среда для агента — это не песочница, а копия боевого сценария с ловушками

Тестовая среда для агента — это не песочница, а копия боевого сценария с ловушками

Перед тем как пускать агента в реальные кампании, соберите среду, где он видит те же типы задач, но не может навредить бюджету. Минимум: отдельный аккаунт, фейковые доступы, лимит на действия, логирование каждого tool-call. Если агент работает через браузер, заранее проверьте, как он ведёт себя на модалках, пустых полях, 403/500 и таймаутах.

Главная ошибка — тестировать только «успешный путь». В агентных цепочках ломается не happy path, а переходы между шагами: не тот селектор, пропал столбец в отчёте, API вернул пустой список, пользовательский текст не распарсился. Добавьте в тесты:
— отмену действия и повтор;
— невалидный ввод;
— пустой результат;
— частичный отказ одного инструмента.

Ещё один слой — проверка автономности. Отдельно замеряйте, сколько шагов агент проходит без вмешательства, где просит подтверждение, где начинает петлять. Для performance-задач полезно хранить набор эталонных сценариев: выгрузка отчёта, сверка чисел, поиск аномалии, создание черновика, отправка в Slack. На каждый сценарий нужен expected outcome и список допустимых ошибок.

Если агент не переживает плохие данные и сбой одного инструмента, в бою он не агент, а источник ручной работы.