Q: How many people should annotate my LLM outputs? – Hamel’s Blog - Hamel Husain
Статья посвящена вопросу о том, сколько людей должны размечать выходные данные LLM. Для большинства малых и средних компаний оптимально назначить одного доменного эксперта — «благожелательного диктатора», который становится главным арбитром качества. Единственный эксперт устраняет конфликты в разметке и предотвращает паралич принятия решений. Крупным организациям или тем, кто работает в нескольких доменах, может понадобиться несколько аннотаторов, при этом их согласованность следует измерять метриками вроде Cohen's Kappa. Однако даже в крупных компаниях одного эксперта зачастую достаточно. Общая рекомендация — начинать с одного эксперта и усложнять процесс, только если домен этого требует.
For most small to medium-sized companies, appointing a single domain expert as a “benevolent dictator” is the most effective approach. This person—whether it’s a psychologist for a mental health chatbot, a lawyer for legal document analysis, or a customer service director for support automation—becomes the definitive voice on quality standards.
Для большинства малых и средних компаний назначение одного доменного эксперта в роли «благожелательного диктатора» — наиболее эффективный подход. Этот человек — будь то психолог для чат-бота в сфере ментального здоровья, юрист для анализа юридических документов или директор по клиентскому сервису для автоматизации поддержки — становится решающим голосом в вопросах стандартов качества.
A single expert eliminates annotation conflicts and prevents the paralysis that comes from “too many cooks in the kitchen”. The benevolent dictator can incorporate input and feedback from others, but they drive the process. If you feel like you need five subject matter experts to judge a single interaction, it’s a sign your product scope might be too broad.
Единственный эксперт устраняет конфликты в разметке и предотвращает паралич, который возникает, когда «у семи нянек дитя без глазу». Благожелательный диктатор может учитывать мнения и обратную связь других, но именно он управляет процессом. Если вам кажется, что для оценки одного взаимодействия нужны пять предметных экспертов, это признак того, что охват вашего продукта, возможно, слишком широк.
However, larger organizations or those operating across multiple domains (like a multinational company with different cultural contexts) may need multiple annotators. When you do use multiple people, you’ll need to measure their agreement using metrics like Cohen’s Kappa, which accounts for agreement beyond chance. However, use your judgment. Even in larger companies, a single expert is often enough.
Тем не менее крупным организациям или тем, кто работает в нескольких доменах (например, мультинациональная компания с разным культурным контекстом), могут понадобиться несколько аннотаторов. Когда вы привлекаете нескольких человек, вам необходимо измерять их согласованность с помощью метрик вроде Cohen's Kappa, которая учитывает согласие сверх случайного. Однако полагайтесь на здравый смысл. Даже в крупных компаниях одного эксперта часто бывает достаточно.
Start with a benevolent dictator whenever feasible. Only add complexity when your domain demands it.
Начинайте с благожелательного диктатора, когда это возможно. Усложняйте процесс, только если ваш домен этого требует.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья — часть нашего FAQ по AI-оценкам, сборника распространённых вопросов (и ответов) об оценке LLM. Смотреть все FAQ или вернуться на главную.