LLM любят мерить на MATH, coding и «понимание текста». Удобно. И почти бесполезно, если модель должна не решат

LLM любят мерить на MATH, coding и «понимание текста». Удобно. И почти бесполезно, если модель должна не решать задачку, а выживать в хаосе.

Кейс: берём несколько LLM и кидаем их в «Бункер» — сценарий, где надо не блеснуть логикой, а продавить коалицию, не развалить доверие и не слиться в переговорах. Это уже не benchmark ради галочки, а проверка поведения под давлением.

Что интереснее всего:
— модель может быть сильной на бенчмарках, но проигрывать в социальной динамике;
— «разумный» ответ часто уступает стратегически выгодному;
— без сценариев на переговоры, конфликт и адаптацию вы тестируете только половину продукта.

Вывод простой: если вы строите AI-продукт для реального мира, не ограничивайтесь accuracy и pass@k. Нужны поведенческие тесты, ролевая симуляция, оценка устойчивости к давлению и провокациям. Иначе у вас не интеллект, а аккуратно натренированный калькулятор 🤖