Q: Why do you recommend binary (pass/fail) evaluations instead of 1-5 ratings (Likert scales)? – Hamel’s Blog - Hamel Husain
Хамел Хусейн объясняет, почему он рекомендует бинарные (pass/fail) оценки вместо шкал Лайкерта (рейтинги 1-5) при оценке LLM. Инженеры считают, что шкалы 1-5 дают больше информации и позволяют отслеживать постепенные улучшения, но на практике эта сложность создаёт больше проблем: разница между соседними значениями (например, 3 и 4) субъективна и непоследовательна у разных аннотаторов, для выявления статистических различий нужны бóльшие выборки, а аннотаторы склонны выбирать средние значения, избегая трудных решений. Бинарный выбор заставляет принимать чёткое решение и ускоряет анализ ошибок. Для отслеживания постепенного прогресса автор предлагает измерять отдельные подкомпоненты собственными бинарными проверками — например, «включено 4 из 5 ожидаемых фактов» вместо рейтинга фактической точности по шкале 1-5. Вывод: начинайте с бинарных меток, а числовые метки — продвинутый приём, который обычно не нужен.
Engineers often believe that Likert scales (1-5 ratings) provide more information than binary evaluations, allowing them to track gradual improvements. However, this added complexity often creates more problems than it solves in practice.
Инженеры часто считают, что шкалы Лайкерта (рейтинги 1-5) дают больше информации, чем бинарные оценки, позволяя отслеживать постепенные улучшения. Однако на практике эта дополнительная сложность нередко создаёт больше проблем, чем решает.
Binary evaluations force clearer thinking and more consistent labeling. Likert scales introduce significant challenges: the difference between adjacent points (like 3 vs 4) is subjective and inconsistent across annotators, detecting statistical differences requires larger sample sizes, and annotators often default to middle values to avoid making hard decisions.
Бинарные оценки заставляют мыслить яснее и размечать данные более последовательно. Шкалы Лайкерта порождают серьёзные трудности: разница между соседними значениями (например, 3 и 4) субъективна и непоследовательна у разных аннотаторов, для выявления статистических различий требуются бóльшие выборки, а аннотаторы часто по умолчанию выбирают средние значения, чтобы избежать трудных решений.
Having binary options forces people to make a decision rather than hiding uncertainty in middle values. Binary decisions are also faster to make during error analysis - you don’t waste time debating whether something is a 3 or 4.
Наличие лишь двух вариантов заставляет людей принимать решение, а не прятать неопределённость в средних значениях. Кроме того, бинарные решения принимаются быстрее в ходе анализа ошибок — вы не тратите время на споры о том, что это: 3 или 4.
For tracking gradual improvements, consider measuring specific sub-components with their own binary checks rather than using a scale. For example, instead of rating factual accuracy 1-5, you could track “4 out of 5 expected facts included” as separate binary checks. This preserves the ability to measure progress while maintaining clear, objective criteria.
Для отслеживания постепенных улучшений стоит измерять конкретные подкомпоненты собственными бинарными проверками, а не использовать шкалу. Например, вместо того чтобы оценивать фактическую точность по шкале 1-5, можно отслеживать «включено 4 из 5 ожидаемых фактов» как отдельные бинарные проверки. Это сохраняет возможность измерять прогресс, удерживая при этом чёткие и объективные критерии.
Start with binary labels to understand what ‘bad’ looks like. Numeric labels are advanced and usually not necessary.
Начните с бинарных меток, чтобы понять, как выглядит «плохо». Числовые метки — это продвинутый приём, и обычно они не нужны.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.