Модель внезапно пишет иероглифы в середине нормального текста не потому, что «сломалась», а потому что у неё в

Модель внезапно пишет иероглифы в середине нормального текста не потому, что «сломалась», а потому что у неё внутри очень плотное пространство представлений: токены, эмбеддинги, слои внимания и куски признаков, которые смешиваются друг с другом.

Если упростить, LLM не хранит «слова», она хранит направления в многомерном векторном пространстве. И иногда при генерации ближайшим оказывается не русский токен, а символ из другого алфавита — особенно если модель видела много смешанных корпусов или токенизация у неё устроена неидеально. 🤖

В deep-режиме здесь интересно другое: исследователи уже смотрят не только на выход, но и на внутреннюю геометрию модели — суперпозицию признаков, фурье-компоненты, grokking-эффекты. То есть пытаются понять, как из хаоса весов появляется “осмысленный” текст, и почему рядом с ним иногда всплывает мусор из чужой письменности.

Практический вывод для тех, кто тестит локалки: странные символы — это не баг интерфейса, а маркер того, как модель распределяет вероятности по токенам. Чем хуже корпус, токенизатор и настройка sampling, тем выше шанс увидеть этот “шум” 🧠