Open Source LLM — Llama / Qwen / DeepSeek

<b>Qwen в проде: 5 ошибок, из-за которых модель кажется «слабой» без вины самой модели</b>

<b>Qwen в проде: 5 ошибок, из-за которых модель кажется «слабой» без вины самой модели</b>

Qwen часто ругают за качество, хотя проблема обычно не в весах, а в обвязке: контекст, квантизация, шаблон чата и длина промпта.

— Не путайте instruct и base. Base-модель без правильного system/user шаблона почти всегда проигрывает на прикладных задачах.
— Не кормите её простынёй без структуры. Для Qwen лучше работают короткие инструкции, списки и явные роли, чем длинный «человеческий» текст.
— Не занижайте precision слишком агрессивно. На 4-bit квантизации на сложных многошаговых задачах быстрее ловится деградация логики и формата ответа.
— Не тестируйте только на коротком контексте. Модель может выглядеть стабильной на 2–4k токенов, а дальше начинать терять связь между блоками.
— Не сравнивайте разные семейства без одинакового prompt template. У Qwen формат диалога критичен: одинаковый вопрос, но разная разметка — и метрика уже плывёт.

Если нужен честный тест, сравнивайте модели на одном наборе: извлечение фактов, строгое форматирование, многошаговый reasoning, длинный контекст.

<i>Чаще всего Qwen «чинится» не дообучением, а нормальным шаблоном, адекватной квантизацией и правильным бенчмарком.</i>
Этот пост опубликован в Telegram-канале Open Source LLM — Llama / Qwen / DeepSeek. Подписаться можно по ссылке: @open_source_llm_aff.
start

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @dumay. Быстрый тест: $20 за канал, $1000 за пакет по сети.