Как не промахнуться с Mistral и Gemma: 4 проверки до запуска в прод

Как не промахнуться с Mistral и Gemma: 4 проверки до запуска в прод

Mistral и Gemma часто берут «на глаз» — по размеру и репутации. В проде это ломается на четырёх вещах: лицензия, длина контекста, формат ответа и цена инференса на вашем железе.

1) Лицензия: у одной модели можно спокойно строить коммерческий сервис, у другой есть ограничения на отдельные сценарии. Проверяйте не название семейства, а конкретный релиз и условия использования.

2) Контекст: заявленные 128k или 32k не означают, что модель одинаково стабильно держит всю длину. Для длинных промптов тестируйте не только факт ответа, но и деградацию: теряются ли инструкции, путаются ли ссылки, не расползается ли формат.

3) Инференс: одна и та же модель на vLLM, TGI и llama.cpp даёт разный latency и разный throughput. Если у вас много коротких запросов, важнее токены/сек и batching; если длинные диалоги — стабильность памяти и отсутствие OOM.

4) Финтюн: для задач типа саппорта, классификации или генерации шаблонов базовая модель часто проигрывает тонкому LoRA-адаптеру. Но сначала посчитайте, сколько запросов реально окупят обучение и поддержку пайплайна.

Берите Mistral/Gemma не как «лучше/хуже», а как набор компромиссов: качество, скорость, цена, лицензия. Сначала прогоните свой бенчмарк на 20–50 реальных запросах, потом уже решайте, что уезжает в прод.