Q: How many people should annotate my LLM outputs? – Hamel’s Blog - Hamel Husain
Статья посвящена вопросу о том, сколько людей должны размечать выходные данные LLM. Для большинства малых и средних компаний оптимально назначить одного доменного эксперта — «благожелательного диктатора», который становится главным арбитром качества. Единственный эксперт устраняет конфликты в разметке и предотвращает паралич принятия решений. Крупным организациям или тем, кто работает в нескольких доменах, может понадобиться несколько аннотаторов, при этом их согласованность следует измерять метриками вроде Cohen's Kappa. Однако даже в крупных компаниях одного эксперта зачастую достаточно. Общая рекомендация — начинать с одного эксперта и усложнять процесс, только если домен этого требует.
Для большинства малых и средних компаний назначение одного доменного эксперта в роли «благожелательного диктатора» — наиболее эффективный подход. Этот человек — будь то психолог для чат-бота в сфере ментального здоровья, юрист для анализа юридических документов или директор по клиентскому сервису для автоматизации поддержки — становится решающим голосом в вопросах стандартов качества.
Единственный эксперт устраняет конфликты в разметке и предотвращает паралич, который возникает, когда «у семи нянек дитя без глазу». Благожелательный диктатор может учитывать мнения и обратную связь других, но именно он управляет процессом. Если вам кажется, что для оценки одного взаимодействия нужны пять предметных экспертов, это признак того, что охват вашего продукта, возможно, слишком широк.
Тем не менее крупным организациям или тем, кто работает в нескольких доменах (например, мультинациональная компания с разным культурным контекстом), могут понадобиться несколько аннотаторов. Когда вы привлекаете нескольких человек, вам необходимо измерять их согласованность с помощью метрик вроде Cohen's Kappa, которая учитывает согласие сверх случайного. Однако полагайтесь на здравый смысл. Даже в крупных компаниях одного эксперта часто бывает достаточно.
Начинайте с благожелательного диктатора, когда это возможно. Усложняйте процесс, только если ваш домен этого требует.
Эта статья — часть нашего FAQ по AI-оценкам, сборника распространённых вопросов (и ответов) об оценке LLM. Смотреть все FAQ или вернуться на главную.