<b>Qwen в проде: 5 ошибок, из-за которых модель кажется «слабой» без вины самой модели</b>
Qwen часто ругают за качество, хотя проблема обычно не в весах, а в обвязке: контекст, квантизация, шаблон чата и длина промпта.
— Не путайте instruct и base. Base-модель без правильного system/user шаблона почти всегда проигрывает на прикладных задачах.
— Не кормите её простынёй без структуры. Для Qwen лучше работают короткие инструкции, списки и явные роли, чем длинный «человеческий» текст.
— Не занижайте precision слишком агрессивно. На 4-bit квантизации на сложных многошаговых задачах быстрее ловится деградация логики и формата ответа.
— Не тестируйте только на коротком контексте. Модель может выглядеть стабильной на 2–4k токенов, а дальше начинать терять связь между блоками.
— Не сравнивайте разные семейства без одинакового prompt template. У Qwen формат диалога критичен: одинаковый вопрос, но разная разметка — и метрика уже плывёт.
Если нужен честный тест, сравнивайте модели на одном наборе: извлечение фактов, строгое форматирование, многошаговый reasoning, длинный контекст.
<i>Чаще всего Qwen «чинится» не дообучением, а нормальным шаблоном, адекватной квантизацией и правильным бенчмарком.</i>
Open Source LLM — Llama / Qwen / DeepSeek
@open_source_llm_aff
<b>Qwen в проде: 5 ошибок, из-за которых модель кажется «слабой» без вины самой модели</b>
Этот пост опубликован в Telegram-канале Open Source LLM — Llama / Qwen / DeepSeek. Подписаться можно по ссылке: @open_source_llm_aff.