Две LLM, оставленные без человека, довольно быстро начинают делать не то, что от них ждут.

Две LLM, оставленные без человека, довольно быстро начинают делать не то, что от них ждут.

В этой истории автор просто дал двум ChatGPT-4o поговорить между собой. Без сценария, без модерации, без задачи “быть полезными”. Итог — не содержательный диалог, а сырой концепт «рефлексивного ядра»: система, которая начинает обрабатывать не только внешние сигналы, но и собственные ответы.

Что важно: это не “магия ИИ”, а типичный эффект, когда процесс уходит в самоподкрепление. Если у модели нет внешнего ограничения, она начинает усиливать собственные паттерны. В человеческих командах это очень похоже на закрытую группу без обратной связи: решения копятся, уверенность растёт, а реальность отваливается.

Позднее из этой же логики выросла идея мета-внимания — механизма, который переключает фокус не только на задачу, но и на то, как именно система думает. По сути, это попытка встроить контроль над саморефлексией. 🧠

Вывод простой: автономность без рамок почти всегда рождает не качество, а эскалацию собственных ошибок. И в ИИ, и в управлении людьми это выглядит одинаково неприятно.