Если нужен высокий throughput на батче запросов, vLLM обычно выигрывает за счёт paged attention: лучше держит KV-cache при разной длине промптов и меньше теряет токены на «пустых» слотах. Если важнее предсказуемый серверный стек и интеграция с Hugging Face, TGI проще в эксплуатации, особенно когда у команды уже есть привычка к контейнерам и модельным репозиториям.
Сравнивать их надо не по «кто быстрее», а по профилю нагрузки:
— короткие запросы и много параллельных сессий;
— длинный контекст и редкие пики;
— streaming vs non-streaming;
— нужна ли жёсткая изоляция по очередям;
— сколько VRAM съедает allocator под ваш размер контекста.
На одной и той же модели разница часто упирается не в математику, а в то, как сервер режет batch и освобождает память.
Практика простая: если у вас API для автоматизации и много разнородных промптов, сначала меряйте p95 latency и процент OOM, а уже потом tokens/sec. Если же сервис крутит однотипные запросы с фиксированным шаблоном, TGI может оказаться достаточно хорошим и менее капризным в поддержке.
Главное правило: не выбирайте фреймворк «на глаз». Прогоните одну модель на одинаковой квантизации, одинаковом контексте и одинаковом concurrency — и только тогда станет видно, где у вас bottleneck: scheduler, KV-cache или сама GPU.
Как стать креативщиком в арбитраже — навыки и портфолио
@creative_arb_start
vLLM и TGI почти одинаковы на бумаге. В проде разница начинается на длине очереди и контексте
Этот пост опубликован в Telegram-канале Как стать креативщиком в арбитраже — навыки и портфолио (@creative_arb_start). Все его публикации — на странице канала.
Открыть в Telegram