Qwen в проде ломают не моделью, а неправильным режимом инференса

Qwen в проде ломают не моделью, а неправильным режимом инференса

Qwen — сильная линейка для русского, кода и tool-use, но в проде надо смотреть не на «впечатление», а на три вещи: контекст, квантизацию и scheduler. Если модель начинает отвечать стабильно только на коротких промптах, значит вы упёрлись не в качество, а в throughput или в память под KV-cache.

Базовый чек-лист перед запуском:
— для генерации текста берите vLLM или TGI, если важен батчинг и предсказуемая latency;
— для локального PoC и дешёвого железа — llama.cpp или GGUF, но без ожиданий по высокой параллельности;
— при 4-bit квантизации всегда проверяйте деградацию на длинном контексте и function calling, а не только на MMLU-подобных тестах;
— если у вас много коротких запросов, маленькая модель с хорошим batching часто выгоднее «старшей» без очереди.

Ещё одна типовая ошибка — пытаться включить 128k контекст как «режим по умолчанию». На практике длинный контекст съедает VRAM под KV-cache, падает concurrency и растёт p95 latency. Для реального сервиса лучше держать два профиля: короткий быстрый и длинный дорогой.

Если Qwen идёт в автоматизацию, тестируйте не «ответ правильный/неправильный», а полный пайп: prompt → tool call → schema → retry. Именно там чаще всего всплывают баги квантизации, а не в обычном chat completion.