Qwen в проде ломают не моделью, а неправильным режимом инференса

Qwen в проде ломают не моделью, а неправильным режимом инференса

Qwen хорош там, где нужен баланс качества, скорости и адекватной лицензии. Но на практике всё упирается в три вещи: размер контекста, квантизацию и движок. Если задача — извлечение, классификация, короткие ответы и tool-use, часто достаточно 7B/14B. Если нужен сложный reasoning или длинный диалог, смотрят на 32B и выше, но только при наличии памяти и нормального batching.

Проверьте перед запуском:
— контекст: 128k на бумаге не равен 128k в проде, после роста prompt latency резко растёт;
— формат: для чата и функций важна совместимость шаблона сообщений, иначе модель начинает «плыть»;
— квантизация: int4/gguf экономит VRAM, но на сложных задачах может просесть точность;
— движок: vLLM даёт сильный throughput на batch-heavy сценариях, llama.cpp удобен для edge и простого деплоя.

Типовая ошибка — мерить модель только по quality score. В проде важнее tokens/sec на одной GPU, p95 latency и цена ошибки на вашем сценарии. Qwen часто выигрывает именно на инженерной дисциплине: когда prompt, template и decoding выставлены одинаково.

Если нужен один универсальный совет: сначала гоняйте Qwen на реальных промптах своего продукта, а уже потом выбирайте размер модели и способ квантизации. Не наоборот.