Self-hosted LLM окупается не от «дешёвого GPU», а от правильной математики нагрузки
Считайте не цену карты, а стоимость 1M токенов в проде: амортизация GPU, электричество, память под модель, запас на пики, инженерное сопровождение. Если у вас низкая утилизация, self-hosted почти всегда проигрывает API: железо простаивает, а фиксированные затраты остаются.
Точка безубыточности обычно упирается в три переменные:
• средний input/output на запрос;
• доля времени простоя;
• нужен ли длинный контекст и параллельные сессии.
Для коротких задач с редкими вызовами выгоднее API. Для потоковой генерации, классификации, RAG и автоворонок с предсказуемым трафиком self-hosted начинает выигрывать.
На практике экономия ломается не на инференсе, а на обвязке: очереди, мониторинг, деградация при перегрузе, hot-swap моделей, резервирование. Если модель на одной карте даёт хороший throughput, но падает по latency под concurrency, реальная цена токена растёт быстрее, чем в тесте на одном запросе.
Правило простое: сначала измерьте RPS, p95 latency и средний размер ответа на вашем трафике, потом считайте TCO на 6–12 месяцев. Self-hosted берут не ради «контроля», а когда загрузка стабильна, объём большой и команда готова держать свой inference-стек.
Open Source LLM — Llama / Qwen / DeepSeek
@open_source_llm_aff
Self-hosted LLM окупается не от «дешёвого GPU», а от правильной математики нагрузки
Этот пост опубликован в Telegram-канале Open Source LLM — Llama / Qwen / DeepSeek. Подписаться можно по ссылке: @open_source_llm_aff.