Проверять разметку целиком невозможно — это вторая разметка того же объёма. Поэтому качество измеряют выборочн

Проверять разметку целиком невозможно — это вторая разметка того же объёма. Поэтому качество измеряют выборочно, и главный инструмент здесь — контрольные единицы с заранее известным правильным ответом.

Работает это так: в обычный поток задач подмешивают единицы, размеченные экспертом, и смотрят, как исполнитель на них отвечает. Никаких отдельных экзаменов, экзамен идёт постоянно и незаметно.

Несколько правил, без которых инструмент ломается:

— контрольные единицы должны быть неотличимы от обычных, иначе их научатся узнавать;
— набор контрольных нужно обновлять, потому что старые расходятся между исполнителями;
— в контроль берут не только простые случаи, иначе он показывает всем отличный результат;
— слишком много контроля — это оплаченная работа, которая не даёт новых данных.

И главное: сам контрольный ответ должен быть бесспорным. Если эксперт разметил единицу спорно, вы будете штрафовать людей за правильные решения и постепенно приучите их отвечать неправильно, но одинаково.

Ошибка в эталоне дороже ошибки в партии. 🔧