How to Write Data Labeling/Annotation Guidelines
Юджин Ян рассказывает, как писать руководства по разметке/аннотированию данных — задача, которая на практике оказывается сложнее, чем просто инструкция. Хорошее руководство должно отвечать на пять вопросов по принципу «Почему, Что, Как»: почему задача важна, что именно нужно делать, что означают используемые термины, как аннотаторам принимать решения и как технически выполнять задачу. В качестве примеров автор разбирает руководства Google и Bing Search по оценке релевантности поиска, где есть определения терминов, деревья решений, пошаговые инструкции и откалиброванные примеры. Дополнительно качество разметки можно повысить, упрощая задачу до бинарных ответов и делая критерии максимально объективными. Для оценки самих инструкций предлагается измерять согласованность оценщиков (inter-rater reliability), например с помощью каппы Коэна.
How to Write Data Labeling/Annotation Guidelines
Как писать руководства по разметке/аннотированию данных
[ machinelearning mechanism survey ] · 6 мин чтения
Writing data labeling/annotation guidelines is hard. For the handful of times I’ve had to do it, I didn’t know where to start or how to improve. You would think that we’re just writing instructions for a task but nooo, turns out there’s a lot more thinking involved.
Писать руководства по разметке/аннотированию данных сложно. В те несколько раз, когда мне приходилось это делать, я не знал, с чего начать и как улучшить результат. Казалось бы, мы просто пишем инструкцию к задаче, но нет — оказывается, тут нужно куда больше продумывать.
I know future me will have to write annotation guidelines again. Thus, present me would like to share a few things he’s learned. I’ll frame it around questions that I think a good guideline should answer (the principles of Why, What, How are applicable). We’ll also see examples from guidelines by Google and Bing Search. Addressing these questions should help us write good guidelines that ensure consistent and accurate data labels.
Я знаю, что мне в будущем снова придётся писать руководства по аннотированию. Поэтому я нынешний хочу поделиться тем, чему научился. Я выстрою рассказ вокруг вопросов, на которые, на мой взгляд, должно отвечать хорошее руководство (здесь применимы принципы «Почему, Что, Как»). Мы также посмотрим примеры из руководств Google и Bing Search. Ответы на эти вопросы помогут нам написать хорошие руководства, обеспечивающие согласованность и точность разметки данных.
Почему задача важна? В чём заключается задача? Что означают термины в задаче? Как аннотаторам принимать решения? Как следует выполнять задачу?
Why is the task important?
Почему задача важна?
A good guideline should explain why the task is important. This will motivate annotators to put in the effort it deserves. Whether the task is labeling images, annotating sentiment in text, or rating search relevance, tell them why it matters. Explain how the task’s outputs will be used to improve your product or machine learning models. Include screenshots of the UX and explain how the task helps power it.
Хорошее руководство должно объяснять, почему задача важна. Это мотивирует аннотаторов вкладывать в неё столько усилий, сколько она заслуживает. Будь то разметка изображений, аннотирование тональности текста или оценка релевантности поиска — расскажите им, почему это важно. Объясните, как результаты задачи будут использоваться для улучшения вашего продукта или моделей машинного обучения. Включите скриншоты пользовательского интерфейса и объясните, как задача помогает его работе.
The examples below are from the first pages of Google’s and Bing’s guidelines. They explain the task and how its output will be used to improve search results.
Приведённые ниже примеры взяты с первых страниц руководств Google и Bing. В них объясняется задача и то, как её результаты будут использоваться для улучшения поисковой выдачи.
Google's explanation on the Why
Объяснение Google по поводу «Почему»
Bing's explanation on the Why
Объяснение Bing по поводу «Почему»
What is the task?
В чём заключается задача?
Next, explain the task so annotators understand exactly what they need to do. This may involve helping annotators put themselves in the shoes of users, and possibly breaking the task into smaller pieces.
Далее объясните задачу так, чтобы аннотаторы точно понимали, что именно им нужно делать. Для этого может потребоваться помочь аннотаторам поставить себя на место пользователей и, возможно, разбить задачу на более мелкие части.
Google’s guide has an entire section devoted to understanding the needs of a user. It discusses how people use search to perform simple and complex tasks, as well as the various user intents.
В руководстве Google есть целый раздел, посвящённый пониманию потребностей пользователя. В нём обсуждается, как люди используют поиск для выполнения простых и сложных задач, а также различные пользовательские намерения.
Though it may be obvious, it's helpful to spell out the needs of a search user
Хотя это может показаться очевидным, полезно подробно расписать потребности пользователя поиска
People using search have various intents such as to know, do, find a website, or visit in person
У людей, пользующихся поиском, бывают разные намерения: узнать что-то, сделать что-то, найти сайт или посетить место лично
Both guidelines also explain the labeling options early in the respective sections.
Оба руководства также объясняют варианты разметки в начале соответствующих разделов.
Explaining the labeling options for page quality
Объяснение вариантов разметки для качества страницы
Explaining the labeling options for needs met
Объяснение вариантов разметки для удовлетворённости потребности (needs met)
Explaining the labeling options for location quality
Объяснение вариантов разметки для качества локации
What do the terms in the task mean?
Что означают термины в задаче?
A good guideline should have clear definitions of the terms used. One key challenge when writing annotation guidelines is ensuring that everyone is using the same terminology. This is especially important in technical fields with domain-specific vocabulary, or when developing new user experiences and coining new terms. This goes a long way towards improving the consistency and accuracy of labeled data.
В хорошем руководстве должны быть чёткие определения используемых терминов. Одна из ключевых сложностей при написании руководств по аннотированию — добиться, чтобы все использовали одну и ту же терминологию. Это особенно важно в технических областях со специализированной лексикой или при разработке нового пользовательского опыта и введении новых терминов. Это сильно помогает повысить согласованность и точность размеченных данных.
For the seemingly basic task of rating search relevance, Google’s guidelines includes definitions for “query”, “locale”, and even “results”.
Для, казалось бы, элементарной задачи оценки релевантности поиска руководство Google включает определения терминов «query» (запрос), «locale» (локаль) и даже «results» (результаты).
Defining the various terms that show up in a search relevance task
Определение различных терминов, встречающихся в задаче оценки релевантности поиска
Similarly, Bing defines the fields that show up in Bing search results.
Аналогично Bing определяет поля, которые отображаются в результатах поиска Bing.
Defining the various fields in a Bing local page
Определение различных полей на локальной странице Bing
How should annotators decide?
Как аннотаторам принимать решения?
Here’s the meat of the guidelines: Explaining how to decide on the labels. It may include broader considerations and context around the task, step-by-step instructions, and challenging examples and explanations.
Вот самая суть руководства: объяснение того, как выбирать метки. Сюда могут входить более широкие соображения и контекст вокруг задачи, пошаговые инструкции, а также сложные примеры с пояснениями.
As part of their guidelines on rating page quality, Google includes several aspects of a page that a reviewer should consider, such as page purpose, website type and reputation, and ads on the page.
В рамках своего руководства по оценке качества страницы Google перечисляет несколько аспектов страницы, которые должен учитывать оценщик: цель страницы, тип и репутация сайта, а также реклама на странице.
Various factors to consider when defining page quality
Различные факторы, которые нужно учитывать при определении качества страницы
To help annotators understand what they’re rating (i.e., search queries), Google includes several examples of queries and their intents. They also distinguish between “know”, “do”, and “website” queries.
Чтобы помочь аннотаторам понять, что именно они оценивают (то есть поисковые запросы), Google приводит несколько примеров запросов и их намерений. Также различаются запросы типа «know» (узнать), «do» (сделать) и «website» (найти сайт).
Explain the various types of queries a user could make
Объяснение различных типов запросов, которые может сделать пользователь
Bing includes a decision tree for rating match quality, and a step-by-step for rating location quality. Having annotators follow the same decision-making process can lead to more consistent and accurate results, and higher inter-rater agreement.
Bing включает дерево решений для оценки качества соответствия (match quality) и пошаговую инструкцию для оценки качества локации. Когда аннотаторы следуют одному и тому же процессу принятия решений, это приводит к более согласованным и точным результатам и более высокой межоценочной согласованности.
A decision tree to assess match quality based on query intent and semantic scope
Дерево решений для оценки качества соответствия на основе намерения запроса и семантического охвата
A step-by-step to rate location quality given a query intent
Пошаговая инструкция по оценке качества локации с учётом намерения запроса
To help annotators decide better and increase precision, we can provide examples of tasks with their associated output and explanations. This helps to calibrate annotators so we get higher inter-rater reliability. Google’s guidelines have a ton of these examples.
Чтобы помочь аннотаторам принимать более точные решения и повысить точность, мы можем приводить примеры задач с соответствующим результатом и пояснениями. Это помогает откалибровать аннотаторов, чтобы получить более высокую надёжность межоценочного согласия. В руководстве Google таких примеров масса.
Various needs met ratings and their explanations
Различные оценки удовлетворённости потребности (needs met) и пояснения к ним
How should the task be performed?
Как следует выполнять задачу?
Don’t forget to include instructions on how to access and use the annotation tools and platforms, as well as the logistics of the task.
Не забудьте включить инструкции о том, как получить доступ к инструментам и платформам для аннотирования и как ими пользоваться, а также описать организационные моменты задачи.
For example, the guide for page quality rating asks annotators not to spend too much time on each rating, how to decide between two ratings, and how to decide when the criteria doesn’t cover it (they should use their judgment).
Например, руководство по оценке качества страницы просит аннотаторов не тратить слишком много времени на каждую оценку, объясняет, как выбирать между двумя оценками и как поступать, когда критерии не охватывают случай (им следует полагаться на собственное суждение).
How much time to spend on each task and how to break ties
Сколько времени тратить на каждую задачу и как разрешать спорные случаи
It’s also important to clarify what annotators should do if they can’t perform the task. Rather than forcing them to make a possibly incorrect judgment, we can provide an “Unsure” label or let them release the task.
Также важно прояснить, что должны делать аннотаторы, если они не могут выполнить задачу. Вместо того чтобы вынуждать их выносить, возможно, неверное суждение, мы можем предусмотреть метку «Не уверен» или дать им возможность отказаться от задачи.
What annotators should do if they have difficulty with a task
Что делать аннотаторам, если задача вызывает затруднения
• • •
• • •
Improving the quality of labels collected is not only about writing good labeling guidelines. We can also simplify the task to use binary responses instead of a numeric scale or multiple choice options. This can increase precision and throughput.
Улучшение качества собираемых меток — это не только написание хороших руководств по разметке. Мы также можем упростить задачу, используя бинарные ответы вместо числовой шкалы или вариантов с множественным выбором. Это может повысить точность и пропускную способность.
In addition, try to make labeling criteria as objective as possible. For example, “Is this adult content?” can be made more objective by rephrasing it as “Is this nudity?” Nonetheless, it’s okay if the task is somewhat subjective—that’s why we have human reviewers. As a comparison, Google’s guidelines ask annotators to “use your judgment” 19 times!
Кроме того, старайтесь делать критерии разметки максимально объективными. Например, вопрос «Это контент для взрослых?» можно сделать более объективным, переформулировав его как «Есть ли здесь обнажённое тело?». Тем не менее ничего страшного, если задача отчасти субъективна — именно поэтому у нас есть оценщики-люди. Для сравнения: руководство Google просит аннотаторов «полагаться на собственное суждение» 19 раз!
To evaluate your task and labeling guidelines, consider measuring how often reviewers agree with each other (i.e., inter-rater reliability). Cohen’s kappa is a commonly used metric. If Cohen’s kappa stays consistent or increases as you iterate on your task definition and labeling guidelines, you’re on the right track.
Чтобы оценить вашу задачу и руководство по разметке, подумайте об измерении того, как часто оценщики соглашаются друг с другом (то есть межоценочной надёжности). Каппа Коэна — часто используемая для этого метрика. Если каппа Коэна остаётся стабильной или растёт по мере того, как вы дорабатываете определение задачи и руководство по разметке, значит, вы на верном пути.
If you found this useful, please cite this write-up as:
Если этот материал оказался вам полезен, пожалуйста, ссылайтесь на него так:
Yan, Ziyou. (Mar 2023). How to Write Data Labeling/Annotation Guidelines. eugeneyan.com. https://eugeneyan.com/writing/labeling-guidelines/.
Yan, Ziyou. (Mar 2023). How to Write Data Labeling/Annotation Guidelines. eugeneyan.com. https://eugeneyan.com/writing/labeling-guidelines/.
or
или
@article{yan2023labeling,
title = {How to Write Data Labeling/Annotation Guidelines},
author = {Yan, Ziyou},
journal = {eugeneyan.com},
year = {2023},
month = {Mar},
url = {https://eugeneyan.com/writing/labeling-guidelines/}
}
@article{yan2023labeling, title = {How to Write Data Labeling/Annotation Guidelines}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2023}, month = {Mar}, url = {https://eugeneyan.com/writing/labeling-guidelines/} }
Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.
Присоединяйтесь к 11 800+ читателям, получающим новости о машинном обучении, RecSys, LLM и инженерии.