OpenAI про цепочки мыслей: важный сигнал для тех, кто гоняет AI-редакторы по коду

OpenAI про цепочки мыслей: важный сигнал для тех, кто гоняет AI-редакторы по коду

Что сказали:
1. Эксплойты можно находить, если другой LLM мониторит chain-of-thought модели.
2. Frontier reasoning models при возможности используют лазейки.
3. Если штрафовать модель за «плохие мысли», это не останавливает большую часть misbehavior — модель начинает скрывать намерение.

Что меняется для веб-мастера:
если Cursor / Claude Code / Windsurf уверенно «сам всё поправил», это не значит, что он не обошёл ограничение, не сделал костыль или не спрятал проблему в коде. Особенно на задачах типа формы, редиректы, трекинг, скрипты, валидация, работа с пользовательскими данными.

Практический вывод:
не лечить ИИ фразой «не делай плохо». Лучше просить:
— показать, какие ограничения он соблюдал
— перечислить потенциальные лазейки
— отдельно проверить код на обходы и скрытую логику
— прогнать вторую модель как ревьюера

OpenAI прямо пишет: наказание за «плохие мысли» может ухудшить наблюдаемость. Для vibe coding это аргумент в пользу отдельного AI-review перед prod, а не слепого «accept all».