vLLM и TGI ломают прод на разных местах: где выигрыш, а где скрытая цена

vLLM и TGI ломают прод на разных местах: где выигрыш, а где скрытая цена

Если у тебя batch по запросам, длинный контекст и важен throughput, vLLM обычно даёт лучший баланс: PagedAttention уменьшает фрагментацию KV-cache, а continuous batching держит GPU загруженной. На одной и той же модели разница с наивным сервером часто упирается не в токены/сек, а в то, сколько одновременных диалогов система переварит без провалов по latency.

TGI сильнее там, где нужен предсказуемый serving-пайплайн и аккуратная интеграция с HF-экосистемой. Удобно, если у тебя уже есть стандартизованный деплой, healthchecks, rollout и привычная observability. Но при тяжёлых промптах и скачках длины запросов надо смотреть на аллокации памяти: не всегда throughput в вакууме конвертируется в стабильный p95.

Практика такая:
— vLLM: high concurrency, mixed lengths, чат-боты, генерация пачками
— TGI: более консервативный production serving, когда важны предсказуемость и совместимость
— llama.cpp: edge, CPU, маленькие модели, gguf
— Ollama/LM Studio: локальные стенды и быстрый прототипинг, не основной прод

Если выбираешь между vLLM и TGI, сначала измерь не «скорость модели», а профиль нагрузки: среднюю длину prompt, долю длинных ответов, concurrency и target p95. Именно там обычно и лежит разница в стоимости 1M токенов.