Self-hosted LLM окупается не от «дешёвых токенов», а от стабильной загрузки и контроля качества

Self-hosted LLM окупается не от «дешёвых токенов», а от стабильной загрузки и контроля качества

Главная ошибка — сравнивать цену API и свой кластер только по $/1M токенов. В проде важнее три числа: средний throughput на GPU, доля простоя и сколько токенов в месяц реально уходит в inference. Если модель простаивает 70% времени, её себестоимость резко растёт, даже при «дешёвой» квантизации.

Считайте cost так: железо + питание + амортизация + инженерное время + мониторинг + резерв на отказ. Потом делите на полезные токены, а не на теоретический максимум. Для оценки берите два сценария: пиковую нагрузку и обычный день. Если разница между ними больше чем в 3–4 раза, вам нужен autoscaling или очереди, а не просто ещё одна GPU.

На экономику сильнее всего влияют:
— контекст: длинные промпты съедают throughput быстрее, чем кажется;
— batching: без него vLLM/TGI теряют большую часть выгоды;
— квантизация: int4 даёт экономию, но может добавить retries из-за падения качества;
— отказоустойчивость: один упавший сервер часто дороже, чем кажется в таблице.

Окупаемость обычно ломается не на модели, а на эксплуатации: логирование, алерты, версионирование промптов, A/B и откат. Если это не заложено в расчёт, self-hosted выглядит дешевле только на бумаге.

Правило простое: сначала измерьте полезную нагрузку и p95 latency, потом считайте TCO. Если у вас стабильный поток запросов и есть своя GPU-инфраструктура, self-hosted почти всегда выигрывает по контролю и предсказуемости.