vLLM или TGI: как выбрать движок для инференса без сюрпризов в проде

vLLM или TGI: как выбрать движок для инференса без сюрпризов в проде

vLLM берут, когда нужен высокий throughput на длинном контексте и много параллельных запросов. Его сильная сторона — paged attention и агрессивная работа с KV-cache: на одной и той же GPU он обычно лучше держит плотную очередь запросов, чем наивный сервер.

TGI чаще выбирают там, где важнее предсказуемость и более «прямой» production-путь. У него понятная схема деплоя, удобный стриминг, нормальная интеграция с Hugging Face-экосистемой и меньше неожиданных сюрпризов при базовых сценариях.

Сравнивать их надо не по «какая модель запускается», а по нагрузке:
• много коротких чатов — смотри p50/p95 latency
• длинные промпты и RAG — смотри, как быстро растёт задержка при росте контекста
• высокая конкуренция запросов — считай tokens/sec на GPU, а не только время первого токена
• ограниченная VRAM — тестируй квантизацию и реальный размер батча

Типичная ошибка — мерить только одиночный запрос. В проде один красивый ответ ничего не значит: важнее, сколько одновременных сессий выдерживает сервер без провала latency и OOM. Ещё одна ошибка — не смотреть на длину генерации: движок, который быстрый на 64 токенах, может сильно просесть на 512.

Правило простое: если у тебя упор в параллелизм и утилизацию GPU, начинай с vLLM; если нужен более консервативный и простой путь в инфраструктуре — смотри TGI. А финальный выбор делай только на своём профиле нагрузки, а не на чужом бенчмарке.