Экономика open-source LLM ломается в трёх местах: недогруз GPU, лишний контекст и слишком дорогой оркестратор. Если у вас 2–3 запроса в секунду, а карта простаивает 60% времени, «дешёвый свой сервер» легко проигрывает внешнему API. Если же нагрузка ровная и предсказуемая, self-hosted начинает брать реванш на объёме.
Считайте не «цену сервера», а стоимость 1M токенов: амортизация железа, электричество, RAM, SSD, DevOps, мониторинг, резервирование, простои. Отдельно считайте prompt и completion: длинные промпты в 128k-контексте могут съесть больше бюджета, чем сама генерация. Для многих команд именно KV-cache и избыточный batch убивают экономику.
Практический чек-лист:
— берите модель и квантизацию под реальный latency, а не под максимальный quality;
— фиксируйте средний prompt length, p95 output length и долю отказов;
— сравнивайте vLLM / TGI / llama.cpp на одном и том же профиле нагрузки;
— закладывайте запас по GPU не ниже 20%, иначе очередь съест SLA.
Если после этого self-hosted всё ещё дешевле API на вашем профиле запросов — масштабируйте. Если нет, то у вас не проблема с моделью, а с режимом потребления: сначала режьте контекст и простои, потом покупайте железо.
Крауд на форумах по беттингу — схема и ссылки
@kraud_forumah_bettingu
Self-hosted выгоден только после расчёта утилизации, а не по ощущению
Этот пост опубликован в Telegram-канале Крауд на форумах по беттингу — схема и ссылки (@kraud_forumah_bettingu). Все его публикации — на странице канала.
Открыть в Telegram