Self-hosted LLM окупается не от размера модели, а от формы нагрузки

Self-hosted LLM окупается не от размера модели, а от формы нагрузки

Если у вас редкие запросы и длинные простои, свой кластер почти всегда проиграет API. Если же есть стабильный поток, повторяющиеся промпты и понятный p95 latency, экономика меняется: вы платите не за токен, а за загрузку GPU. Именно поэтому считать надо не «сколько стоит 1M токенов», а «сколько токенов в сутки выдаёт одна карта при нужном качестве».

Три цифры, которые решают всё:
— throughput на вашем стекe: vLLM, TGI или llama.cpp дают разный output tokens/sec;
— реальная утилизация GPU: 20% и 70% — это два разных бизнеса;
— длина контекста: 32k и 128k сильно бьют по плотности батча и latency.

Дальше считайте точку окупаемости: стоимость железа, амортизация, электричество, резерв под простои, DevOps и инженера. Если один и тот же поток можно обслужить меньшей моделью с RAG или кэшированием, это почти всегда дешевле, чем сразу брать «большую». Локальный inference выигрывает там, где запросы однотипные, а качество можно удержать промптами и fine-tune.

Практика простая: сначала измерьте токены/сек на вашей задаче, потом посчитайте цену одного успешного ответа, и только после этого сравнивайте с внешним API. Если математика не сходится без красивых допущений — self-hosted вам рано.