Llama — не “одна модель”, а семейство с очень разной ценой ошибки

Llama — не “одна модель”, а семейство с очень разной ценой ошибки

Если вы берёте Llama в прод, сначала смотрите не на хайп, а на три вещи: размер, контекст и лицензию. 8B обычно живёт там, где важны скорость и дешёвый инференс; 70B — там, где уже нужен более стабильный reasoning и меньше ручной донастройки. Но между ними пропасть по требованиям к VRAM, latency и стоимости обслуживания.

Для практики важнее не “лучше ли модель вообще”, а подходит ли она под ваш пайплайн:
— короткие ответы, классификация, роутинг: компактные Llama дают лучший throughput;
— длинные диалоги и сложные инструкции: нужен запас по контексту и нормальная деградация на длинном промпте;
— тонкая доменная логика: без LoRA/QLoRA почти всегда будет дорого добиваться стабильности.

Ещё один частый провал — брать модель только по quality score и игнорировать железо. На одной и той же GPU разница между fp16 и int4 может быть решающей: одна конфигурация держит очередь, другая уходит в latency-ад. Поэтому перед выбором фиксируйте три числа: tokens/sec, peak VRAM и длину реального контекста, а не паспортного.

Итог простой: Llama стоит оценивать как инструмент под конкретный SLA, а не как “лучшую open-source модель”. Сначала определите бюджет на токен, потом — нужный размер модели, и только после этого выбирайте квантизацию и сервер инференса.