Как повысить RPM сайта: диагностика страниц

vLLM и TGI ломаются не на модели, а на ошибочном сценарии нагрузки

Если вам нужен один сервис под mixed traffic, сначала смотрите на паттерн запросов: длина промпта, доля long-context, batch size, поток коротких чатов. vLLM обычно выигрывает там, где важны continuous batching и высокий throughput на разнородных запросах. TGI удобнее, когда нужен более прямой продовый стек, предсказуемый API и простая эксплуатация через Hugging Face-экосистему.

Три проверки перед выбором:
— длинные контексты: проверьте, как сервер держит KV cache и не упирается ли в VRAM на пике;
— генерация с параллельными запросами: смотрите не средний, а p95 latency;
— квантизация: один и тот же чекпоинт в fp16 и int4 может менять не только скорость, но и стабильность ответа.

Если у вас много коротких запросов и важен throughput, vLLM чаще дает лучший токен/сек на одну GPU. Если важнее простота интеграции, знакомый deployment-процесс и меньше кастомной настройки, TGI часто выигрывает по ops-cost. Для одного и того же веса разница в реальной производительности может быть меньше, чем эффект от неправильного max_seq_len, batch size или отсутствия лимита на входной контекст.

Правильный тест — прогнать свой трафик, а не синтетический hello-world. Сначала измеряйте p50/p95 latency, VRAM ceiling и tokens/sec на реальных длинах промпта, потом уже выбирайте стек.
Этот пост опубликован в Telegram-канале Как повысить RPM сайта: диагностика страниц (@rpm_site). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Рост и воронки»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.