Локальные и нелокальные модели иногда выдают в тексте иероглифы — и это не случайный сбой, а повод посмотреть,

Локальные и нелокальные модели иногда выдают в тексте иероглифы — и это не случайный сбой, а повод посмотреть, как устроено их внутреннее представление.

Автор статьи делит разбор на два уровня: сначала — базово, про эмбеддинги и то, что модель хранит «внутри» при генерации; затем — глубже, с выходом на grokking, фурье-частоты и суперпозицию. Такой формат полезен, когда нужно не просто фиксировать баг, а понимать, почему он возникает и где именно ломается логика генерации. 🤖