5 ловушек при выборе Llama для прод-стека: где обычно сливают бюджет и качество

5 ловушек при выборе Llama для прод-стека: где обычно сливают бюджет и качество

Llama — не «одна модель», а семейство с разными компромиссами. Ошибка №1: брать размер по инерции. 8B часто достаточно для классификации, суммаризации и простых агентов, а 70B нужен не «на всякий случай», а когда упираетесь в сложный reasoning и длинные цепочки контекста.

Ошибка №2: игнорировать квантизацию. FP16 даёт максимум качества, но цена по VRAM и throughput быстро становится болью. На практике GGUF/4-bit или AWQ/GPTQ часто выигрывают по TCO, если задача не требует идеального teacher-grade ответа. Проверять надо не только perplexity, но и деградацию на ваших промптах.

Ошибка №3: мерить модель без своего пайплайна. vLLM, TGI и llama.cpp по-разному ведут себя на batch size, long context и streaming. Одна и та же Llama может быть «быстрой» в одном стеке и внезапно стать узким горлышком в другом. Смотрите tokens/sec, p95 latency и память под KV-cache.

Ошибка №4: забывать про лицензии и ограничения на коммерцию. У Llama условия использования не равны Apache 2.0, и это надо проверить до интеграции в продукт, а не после запуска. Ошибка №5: оценивать модель без данных домена — общий бенчмарк не покажет, как она работает на ваших шаблонах, языках и стоп-словах.

Берите Llama не по хайпу, а по матрице: качество, скорость, цена, лицензия. Если хотя бы одна ось не сходится — модель в проде будет дорогой, даже если на демо выглядит идеально.