Self-hosted LLM окупается не по “любопытству”, а по формуле токена и загрузки GPU

Self-hosted LLM окупается не по “любопытству”, а по формуле токена и загрузки GPU

Если у вас есть поток запросов, считайте не “дорого/дёшево”, а стоимость 1M токенов. В self-hosted экономику входят: амортизация GPU, электричество, память под KV-cache, простои, оркестрация, инженеры на поддержку. В API это превращено в один счёт, но без контроля над latency и лимитами.

Ключевой тест: сколько токенов в секунду даёт одна GPU на вашей модели и квантизации. Дальше делите полную стоимость часа на реальный throughput, а не на паспортный пик. Если у вас низкая утилизация, self-hosted проигрывает почти всегда. Если поток ровный, короткие ответы, есть batch и предсказуемый спрос — экономика резко улучшается.

Смотрите на 4 точки:
— размер модели и квантизация: fp16 редко нужен, int4 часто даёт лучший баланс;
— длина контекста: длинный prompt съедает KV-cache и падает throughput;
— режим сервинга: vLLM/TGI обычно выигрывают у “одиночного” inference;
— резерв: одна запасная GPU может съесть всю “выгоду”.

Порог окупаемости наступает там, где стабильная загрузка перекрывает не только железо, но и цену простоя команды. Если у вас нет постоянного потока — берите API. Если поток есть, считайте 1M токенов на своей инфраструктуре до запуска и пересчитывайте после первого месяца факта.