Mistral и Gemma: как выбрать компактную open-source-модель под прод без лишнего шума

Mistral и Gemma: как выбрать компактную open-source-модель под прод без лишнего шума

Если нужен не «самый умный чат», а рабочая модель для классификации, извлечения полей, черновиков ответов и простого агентного слоя, эти два семейства закрывают разные углы. Mistral обычно сильнее в английском и в аккуратном following instructions, Gemma часто удобнее как базовый кандидат для локального деплоя и быстрых итераций на своих GPU.

Смотри не на название, а на 4 вещи:
— лицензия и ограничения на коммерцию;
— контекст и реальная деградация на длинных промптах;
— throughput на твоём железе в fp16/int4;
— поведение в формате, который нужен продакшену: JSON, function calling, короткие ответы.

Типовая ошибка — брать модель по бенчмарку и забывать про latency p95. На одной и той же GPU 7B-класс может выглядеть «достаточно быстро», но при batch=1 и длинном контексте превращаться в узкое место. Для продовых пайплайнов обычно важнее стабильные 20–40 tokens/sec на запрос, чем красивый average на синтетике.

Если задача — дешёвый self-hosted API, сначала прогоняй 50–100 реальных промптов: извлечение, переформулировка, отказ, короткий ответ, ошибочный вход. Потом сравни: сколько ответов прошло без пост-обработки, сколько пришлось чинить regex’ами и сколько токенов модель сжигает на один полезный результат. Это и есть цена ошибки.

Берите Gemma или Mistral не по хайпу, а по вашему формату ответа: где меньше правок после генерации, та модель и дешевле в проде.