Если вы ловили момент, когда LLM внезапно съезжает в иероглифы посреди нормального текста, это не баг «из друг

Если вы ловили момент, когда LLM внезапно съезжает в иероглифы посреди нормального текста, это не баг «из другого мира», а хороший сигнал посмотреть, как модель вообще хранит и выбирает следующий токен.

Попалась любопытная разборка на двух уровнях. Первый — базовый, для тех, кто слышал про эмбеддинги, но не ковырял их руками: что именно модель держит внутри и почему это пространство похоже на очень странную карту смыслов. Второй — уже для тех, кто хочет заглянуть глубже: grokking, суперпозиция, фурье-компоненты и попытка буквально вытянуть внутреннее пространство обученной модели наружу.

Что важно для практики: такие «съезды» — не только курьёз локальных моделей. Они показывают, насколько генерация зависит от внутренней геометрии представлений и как хрупко может вести себя модель при неожиданных траекториях в латентном пространстве. 👀

Полезный материал, если вы строите LLM-инфраструктуру, гоняете модели на своих данных или просто хотите понимать, почему ИИ иногда начинает говорить не тем алфавитом.