Q: How many people should annotate my LLM outputs? – Hamel’s Blog - Hamel Husain
Статья посвящена вопросу о том, сколько людей должны размечать выходные данные LLM. Для большинства малых и средних компаний оптимально назначить одного доменного эксперта — «благожелательного диктатора», который становится главным арбитром качества. Единственный эксперт устраняет конфликты в разметке и предотвращает паралич принятия решений. Крупным организациям или тем, кто работает в нескольких доменах, может понадобиться несколько аннотаторов, при этом их согласованность следует измерять метриками вроде Cohen's Kappa. Однако даже в крупных компаниях одного эксперта зачастую достаточно. Общая рекомендация — начинать с одного эксперта и усложнять процесс, только если домен этого требует.
For most small to medium-sized companies, appointing a single domain expert as a “benevolent dictator” is the most effective approach. This person—whether it’s a psychologist for a mental health chatbot, a lawyer for legal document analysis, or a customer service director for support automation—becomes the definitive voice on quality standards.
A single expert eliminates annotation conflicts and prevents the paralysis that comes from “too many cooks in the kitchen”. The benevolent dictator can incorporate input and feedback from others, but they drive the process. If you feel like you need five subject matter experts to judge a single interaction, it’s a sign your product scope might be too broad.
However, larger organizations or those operating across multiple domains (like a multinational company with different cultural contexts) may need multiple annotators. When you do use multiple people, you’ll need to measure their agreement using metrics like Cohen’s Kappa, which accounts for agreement beyond chance. However, use your judgment. Even in larger companies, a single expert is often enough.
Start with a benevolent dictator whenever feasible. Only add complexity when your domain demands it.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.