У custom-model на инференсе обычно забирают не «одну комиссию», а несколько слоёв расходов: базовый runtime, время GPU/CPU, хранение артефактов, плюс накладные за обвязку и публичный доступ к модели.
На практике счёт надо строить от трёх строк:
— стоимость одного прогона по времени исполнения;
— размер и частота загрузки модели;
— процент неуспешных запросов, который тоже ест бюджет.
Если модель тяжёлая, именно cold start и повторные инициализации съедают больше, чем сам inference.
Что важно: считать не «за запрос», а «за полезный результат». Один и тот же prompt может давать 1, 3 или 8 секунд работы, и разница в себестоимости потом выглядит как будто модель «внезапно стала дорогой». Для продающего AI-продукта это критично: дешёвый inference на бумаге легко превращается в минус после реального трафика.
На практике маржу спасают три вещи: кэширование повторяющихся запросов, жёсткий лимит на размер входа и вынос тяжёлой подготовки данных до вызова модели. Если custom-model продаётся как API, сразу закладывай запас на пики и тестовые запросы — они часто не монетизируются, но оплачиваются.
Смотри на inference как на unit-economics: если не знаешь себестоимость одного валидного ответа, масштабирование просто ускоряет убыток.
AI Creators Monetize
@ai_creators_monetize
Custom-model на Replicate: где уходит маржа и как считать inference без сюрпризов
Этот пост опубликован в Telegram-канале AI Creators Monetize (@ai_creators_monetize). Все его публикации — на странице канала.
Открыть в Telegram