Самое дорогое в разметке — не объём, а край.
Середина выборки размечается быстро и почти без ошибок: там всё очевидно. Деньги и время съедают единицы, которые не ложатся ни в одну категорию. Размытый кадр, обрезанный текст, запись, где слышно двоих сразу, отзыв, в котором похвала и жалоба одновременно.
Обычный ход — завести категорию «другое» и сваливать туда всё непонятное. Через какое-то время выясняется, что это самая большая категория в наборе, и внутри неё лежат вещи, не имеющие между собой ничего общего.
Что работает лучше:
— отдельный флаг «плохое качество исходника» — он про материал, а не про содержание;
— отдельный флаг «не уверен» — он показывает, где инструкция молчит;
— регулярный разбор накопившихся спорных единиц: часть из них превращается в новые правила, часть честно выбрасывается.
Выбрасывать не стыдно. Единица, которую человек не может разметить уверенно, обучит модель ровно неуверенности.
Край выборки надо разбирать первым, а не откладывать на конец проекта: именно он задаёт правила для всего остального.
Разметка Данных
@data_labeling_ru_n1k
Самое дорогое в разметке — не объём, а край.
Этот пост опубликован в Telegram-канале Разметка Данных. Подписаться можно по ссылке: @data_labeling_ru_n1k.