Self-hosted окупается не на «крутых GPU», а на правильной модели нагрузки и дисциплине в проде

Self-hosted окупается не на «крутых GPU», а на правильной модели нагрузки и дисциплине в проде

Считайте экономику от трёх цифр: tokens/day, доля prompt vs completion и требуемая задержка. Если у вас короткие ответы, высокий RPM и мало пиков — self-hosted часто проигрывает по операционке. Если же есть стабильный поток, длинный контекст и повторяемые запросы, собственный inference начинает давать заметную экономию на 1M токенов.

Главная ошибка — сравнивать только цену железа. В формулу входят амортизация GPU, простои, электричество, DevOps, мониторинг, резервирование и потери на деградации качества после агрессивной квантизации. Модель, которая в демо держит 80 tokens/sec, в проде легко теряет половину throughput из-за длинного контекста и конкуренции за KV cache.

Практический чек-лист: 1) замерьте p95 latency и реальный средний prompt length; 2) посчитайте утилизацию GPU в часах, а не в токенах; 3) проверьте, можно ли заменить 70B на 14B + хороший retrieval; 4) отдельно оцените стоимость отказа, когда API-провайдер даёт лимиты или нестабильность.

Если self-hosted не даёт запас по latency и не уменьшает стоимость 1M токенов минимум в 2 раза на вашем профиле нагрузки, это не экономия, а хобби.