vLLM и TGI: как не ошибиться с выбором сервера под open-source LLM

vLLM и TGI: как не ошибиться с выбором сервера под open-source LLM

Если нужен быстрый и предсказуемый inference, выбор обычно сводится к двум лагерям: vLLM и TGI. Оба умеют раздавать Llama / Qwen / DeepSeek в проде, но оптимизируют разные узкие места.

— vLLM сильнее там, где важны высокий throughput и плотная утилизация GPU. Его сильная сторона — эффективное batch’ирование и работа с длинными очередями запросов.
— TGI часто берут за более «ровный» production-опыт: понятные механики деплоя, удобная интеграция в типовой API-стек, предсказуемое поведение под нагрузкой.
— Если у вас много коротких запросов, главный KPI — tokens/sec на карту. Если запросы длинные и контекст тяжёлый — смотрите не только на скорость генерации, но и на стабильность latency p95.

Критическая ошибка — сравнивать только один замер throughput на пустом сервере. В реальной нагрузке важны:
• размер контекста;
• длина ответа;
• число одновременных сессий;
• KV cache и то, как сервер с ним обращается;
• деградация при росте очереди.

Для маленькой команды правило простое: если нужна максимальная плотность и вы готовы тонко настраивать сервер — начинайте с vLLM. Если важнее типовой production-путь, простота сопровождения и меньше ручной возни — смотрите на TGI.

Лучший тест — не «какой сервер быстрее вообще», а «какой даёт нужный p95 latency и стоимость 1M токенов на вашем профиле запросов».