Self-hosted выгоден не тогда, когда токен дешевле, а когда у вас есть стабильный поток
Считать надо не «цена API vs своя GPU», а полную себестоимость: железо, амортизация, электричество, хранение весов, оркестрация, запас по отказам, инженерное время. Если модель простаивает, self-hosted почти всегда проигрывает. Если нагрузка ровная и предсказуемая — экономика быстро меняется.
Для расчёта берите 3 метрики:
— tokens/sec на одной GPU при вашем контексте
— среднюю загрузку за сутки, а не пик
— долю запросов, которые реально требуют LLM, а не шаблон
Если у вас 15–20% трафика можно увести в правила, rerank или маленькую модель, дорогой инференс перестаёт быть базой.
Главная ошибка — покупать GPU «под запас», а потом кормить её одним чатом. Вторая ошибка — не считать деградацию на длинном контексте: 32k и 128k на практике дают разную пропускную способность и разный cost per request. Третья — игнорировать latency tail: если p95 падает, бизнесу всё равно на красивый средний throughput.
Считайте точку окупаемости через месячный объём токенов и реальную утилизацию, а не через цену одной тысячи запросов. Если ваш пайплайн уже даёт постоянную нагрузку, self-hosted превращается из «дорого» в «контролируемо».
Open Source LLM — Llama / Qwen / DeepSeek
@open_source_llm_aff
Self-hosted выгоден не тогда, когда токен дешевле, а когда у вас есть стабильный поток
Этот пост опубликован в Telegram-канале Open Source LLM — Llama / Qwen / DeepSeek. Подписаться можно по ссылке: @open_source_llm_aff.