MT-Bench: релиз года для тех, кто хочет сравнивать llm без магии и ручного шаманства

MT-Bench: релиз года для тех, кто хочет сравнивать llm без магии и ручного шаманства

MT-Bench — это не «одна цифра для прессы», а многоходовка: модель отвечает на набор диалоговых задач, а потом её ответы оценивают по качеству, полезности и следованию инструкции. Ирония в том, что именно такой тест часто вскрывает разницу между «звучит умно» и «реально умеет».

Если используешь его как model_comparison, держи три правила:
— сравнивай только на одинаковых промптах и одинаковом формате ответа;
— не смешивай MT-Bench с задачами на код или знания: это про диалог, а не про всё на свете;
— смотри не только на средний балл, но и на провалы по отдельным категориям: иногда модель красивая в общем зачёте и очень нервная в длинных ответах.

Ещё один вечный баг: люди читают результат как «победитель лучший везде». Нет. MT-Bench хорошо ловит качество ассистента, но плохо заменяет benchmarks для reasoning, code, factuality и safety. Нормальная практика — собирать стек из нескольких evals, а не молиться на один таблоидный рейтинг.

Используй MT-Bench как фильтр, а не как приговор: если модель там сильна, это хороший знак для chat-UX, но финальный вердикт всё равно дают остальные evals. Может, конечно, ни хуя не взлетит именно в твоём кейсе — и это не баг, а обычная жизнь llm.