How to Write Data Labeling/Annotation Guidelines

eugeneyan

Начните здесь Статьи Выступления Прототипирование О себе

Как писать руководства по разметке/аннотированию данных

[ machinelearning mechanism survey ] · 6 мин чтения

Писать руководства по разметке/аннотированию данных сложно. В те несколько раз, когда мне приходилось это делать, я не знал, с чего начать и как улучшить результат. Казалось бы, мы просто пишем инструкцию к задаче, но нет — оказывается, тут нужно куда больше продумывать.

Я знаю, что мне в будущем снова придётся писать руководства по аннотированию. Поэтому я нынешний хочу поделиться тем, чему научился. Я выстрою рассказ вокруг вопросов, на которые, на мой взгляд, должно отвечать хорошее руководство (здесь применимы принципы «Почему, Что, Как»). Мы также посмотрим примеры из руководств Google и Bing Search. Ответы на эти вопросы помогут нам написать хорошие руководства, обеспечивающие согласованность и точность разметки данных.

Почему задача важна? В чём заключается задача? Что означают термины в задаче? Как аннотаторам принимать решения? Как следует выполнять задачу?

Почему задача важна?

Хорошее руководство должно объяснять, почему задача важна. Это мотивирует аннотаторов вкладывать в неё столько усилий, сколько она заслуживает. Будь то разметка изображений, аннотирование тональности текста или оценка релевантности поиска — расскажите им, почему это важно. Объясните, как результаты задачи будут использоваться для улучшения вашего продукта или моделей машинного обучения. Включите скриншоты пользовательского интерфейса и объясните, как задача помогает его работе.

Приведённые ниже примеры взяты с первых страниц руководств Google и Bing. В них объясняется задача и то, как её результаты будут использоваться для улучшения поисковой выдачи.

Объяснение Google по поводу «Почему»

Объяснение Bing по поводу «Почему»

В чём заключается задача?

Далее объясните задачу так, чтобы аннотаторы точно понимали, что именно им нужно делать. Для этого может потребоваться помочь аннотаторам поставить себя на место пользователей и, возможно, разбить задачу на более мелкие части.

В руководстве Google есть целый раздел, посвящённый пониманию потребностей пользователя. В нём обсуждается, как люди используют поиск для выполнения простых и сложных задач, а также различные пользовательские намерения.

Хотя это может показаться очевидным, полезно подробно расписать потребности пользователя поиска

У людей, пользующихся поиском, бывают разные намерения: узнать что-то, сделать что-то, найти сайт или посетить место лично

Оба руководства также объясняют варианты разметки в начале соответствующих разделов.

Объяснение вариантов разметки для качества страницы

Объяснение вариантов разметки для удовлетворённости потребности (needs met)

Объяснение вариантов разметки для качества локации

Что означают термины в задаче?

В хорошем руководстве должны быть чёткие определения используемых терминов. Одна из ключевых сложностей при написании руководств по аннотированию — добиться, чтобы все использовали одну и ту же терминологию. Это особенно важно в технических областях со специализированной лексикой или при разработке нового пользовательского опыта и введении новых терминов. Это сильно помогает повысить согласованность и точность размеченных данных.

Для, казалось бы, элементарной задачи оценки релевантности поиска руководство Google включает определения терминов «query» (запрос), «locale» (локаль) и даже «results» (результаты).

Определение различных терминов, встречающихся в задаче оценки релевантности поиска

Аналогично Bing определяет поля, которые отображаются в результатах поиска Bing.

Определение различных полей на локальной странице Bing

Как аннотаторам принимать решения?

Вот самая суть руководства: объяснение того, как выбирать метки. Сюда могут входить более широкие соображения и контекст вокруг задачи, пошаговые инструкции, а также сложные примеры с пояснениями.

В рамках своего руководства по оценке качества страницы Google перечисляет несколько аспектов страницы, которые должен учитывать оценщик: цель страницы, тип и репутация сайта, а также реклама на странице.

Различные факторы, которые нужно учитывать при определении качества страницы

Чтобы помочь аннотаторам понять, что именно они оценивают (то есть поисковые запросы), Google приводит несколько примеров запросов и их намерений. Также различаются запросы типа «know» (узнать), «do» (сделать) и «website» (найти сайт).

Объяснение различных типов запросов, которые может сделать пользователь

Bing включает дерево решений для оценки качества соответствия (match quality) и пошаговую инструкцию для оценки качества локации. Когда аннотаторы следуют одному и тому же процессу принятия решений, это приводит к более согласованным и точным результатам и более высокой межоценочной согласованности.

Дерево решений для оценки качества соответствия на основе намерения запроса и семантического охвата

Пошаговая инструкция по оценке качества локации с учётом намерения запроса

Чтобы помочь аннотаторам принимать более точные решения и повысить точность, мы можем приводить примеры задач с соответствующим результатом и пояснениями. Это помогает откалибровать аннотаторов, чтобы получить более высокую надёжность межоценочного согласия. В руководстве Google таких примеров масса.

Различные оценки удовлетворённости потребности (needs met) и пояснения к ним

Как следует выполнять задачу?

Не забудьте включить инструкции о том, как получить доступ к инструментам и платформам для аннотирования и как ими пользоваться, а также описать организационные моменты задачи.

Например, руководство по оценке качества страницы просит аннотаторов не тратить слишком много времени на каждую оценку, объясняет, как выбирать между двумя оценками и как поступать, когда критерии не охватывают случай (им следует полагаться на собственное суждение).

Сколько времени тратить на каждую задачу и как разрешать спорные случаи

Также важно прояснить, что должны делать аннотаторы, если они не могут выполнить задачу. Вместо того чтобы вынуждать их выносить, возможно, неверное суждение, мы можем предусмотреть метку «Не уверен» или дать им возможность отказаться от задачи.

Что делать аннотаторам, если задача вызывает затруднения

• • •

Улучшение качества собираемых меток — это не только написание хороших руководств по разметке. Мы также можем упростить задачу, используя бинарные ответы вместо числовой шкалы или вариантов с множественным выбором. Это может повысить точность и пропускную способность.

Кроме того, старайтесь делать критерии разметки максимально объективными. Например, вопрос «Это контент для взрослых?» можно сделать более объективным, переформулировав его как «Есть ли здесь обнажённое тело?». Тем не менее ничего страшного, если задача отчасти субъективна — именно поэтому у нас есть оценщики-люди. Для сравнения: руководство Google просит аннотаторов «полагаться на собственное суждение» 19 раз!

Чтобы оценить вашу задачу и руководство по разметке, подумайте об измерении того, как часто оценщики соглашаются друг с другом (то есть межоценочной надёжности). Каппа Коэна — часто используемая для этого метрика. Если каппа Коэна остаётся стабильной или растёт по мере того, как вы дорабатываете определение задачи и руководство по разметке, значит, вы на верном пути.

Если этот материал оказался вам полезен, пожалуйста, ссылайтесь на него так:

Yan, Ziyou. (Mar 2023). How to Write Data Labeling/Annotation Guidelines. eugeneyan.com. https://eugeneyan.com/writing/labeling-guidelines/.

или

@article{yan2023labeling, title = {How to Write Data Labeling/Annotation Guidelines}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2023}, month = {Mar}, url = {https://eugeneyan.com/writing/labeling-guidelines/} }

Присоединяйтесь к 11 800+ читателям, получающим новости о машинном обучении, RecSys, LLM и инженерии.