LLM любят мерить по MATH, coding и long context. Но в реальной аварии важнее не «сколько токенов помнит», а ка

LLM любят мерить по MATH, coding и long context. Но в реальной аварии важнее не «сколько токенов помнит», а как модель ведёт себя под давлением: умеет ли договариваться, не разваливается ли на противоречиях, не начинает ли уверенно нести ерунду.

Есть любопытный чёрный кейс: модели загоняли в сценарий «Бункера» — ограниченные ресурсы, конфликт интересов, нужно выбирать, кого спасать и как убеждать остальных. И тут вскрывается неприятное: на спокойных бенчмарках LLM выглядят аккуратно, а в социальной игре быстро показывают слабые места.
Одни застревают в шаблонной морали.
Другие слишком легко поддаются давлению.
Третьи начинают «торговаться» так, будто у них есть реальная ставка — и теряют последовательность.

Для вебмастера вывод простой: если вы хотите использовать LLM в саппорте, модерации, разборе инцидентов или коммуникации с клиентом, проверяйте не только точность ответа, но и поведение в конфликте. Иначе получите красивый текст без устойчивости к стрессу. ⚠️