Custom-model на Replicate: где съедается маржа и как считать inference до запуска

Custom-model на Replicate: где съедается маржа и как считать inference до запуска

У custom-model на Replicate деньги теряются не в обучении, а в каждом inference. Базовая ошибка — смотреть только на цену запуска и не считать цепочку: время генерации, размер входа, повторные запросы, прогрев, хранение артефактов и комиссии платформы.

Что важно:
— чем тяжелее модель и больше разрешение, тем быстрее съедается бюджет на один результат;
— длинный prompt и большие payload’ы бьют по стоимости не хуже самого вызова;
— если у тебя есть retries, один «плохой» запрос может стоить как два нормальных.

На практике считай юнит-экономику от трех цифр: среднее время inference, среднее число попыток до годного результата и цена часа/минуты выбранной конфигурации. Потом умножай это на целевое число результатов в день — так видно, сколько реально остается с продажи, а не «на бумаге» 📉

Если модель дает нестабильный output, дешевле сначала ужать вход, стандартизировать prompt и добавить постобработку, чем просто поднимать мощность. Для creator-экономики это критично: прибыль делает не самый сильный ML-стек, а самый предсказуемый cost per asset.