Если вам нужен один сервис под mixed traffic, сначала смотрите на паттерн запросов: длина промпта, доля long-context, batch size, поток коротких чатов. vLLM обычно выигрывает там, где важны continuous batching и высокий throughput на разнородных запросах. TGI удобнее, когда нужен более прямой продовый стек, предсказуемый API и простая эксплуатация через Hugging Face-экосистему.
Три проверки перед выбором:
— длинные контексты: проверьте, как сервер держит KV cache и не упирается ли в VRAM на пике;
— генерация с параллельными запросами: смотрите не средний, а p95 latency;
— квантизация: один и тот же чекпоинт в fp16 и int4 может менять не только скорость, но и стабильность ответа.
Если у вас много коротких запросов и важен throughput, vLLM чаще дает лучший токен/сек на одну GPU. Если важнее простота интеграции, знакомый deployment-процесс и меньше кастомной настройки, TGI часто выигрывает по ops-cost. Для одного и того же веса разница в реальной производительности может быть меньше, чем эффект от неправильного max_seq_len, batch size или отсутствия лимита на входной контекст.
Правильный тест — прогнать свой трафик, а не синтетический hello-world. Сначала измеряйте p50/p95 latency, VRAM ceiling и tokens/sec на реальных длинах промпта, потом уже выбирайте стек.
vLLM и TGI ломаются не на модели, а на ошибочном сценарии нагрузки
Этот пост опубликован в Telegram-канале Как повысить RPM сайта: диагностика страниц (@rpm_site). Все его публикации — на странице канала.
Открыть в Telegram