Q: Why do you recommend binary (pass/fail) evaluations instead of 1-5 ratings (Likert scales)? – Hamel’s Blog - Hamel Husain
Хамел Хусейн объясняет, почему он рекомендует бинарные (pass/fail) оценки вместо шкал Лайкерта (рейтинги 1-5) при оценке LLM. Инженеры считают, что шкалы 1-5 дают больше информации и позволяют отслеживать постепенные улучшения, но на практике эта сложность создаёт больше проблем: разница между соседними значениями (например, 3 и 4) субъективна и непоследовательна у разных аннотаторов, для выявления статистических различий нужны бóльшие выборки, а аннотаторы склонны выбирать средние значения, избегая трудных решений. Бинарный выбор заставляет принимать чёткое решение и ускоряет анализ ошибок. Для отслеживания постепенного прогресса автор предлагает измерять отдельные подкомпоненты собственными бинарными проверками — например, «включено 4 из 5 ожидаемых фактов» вместо рейтинга фактической точности по шкале 1-5. Вывод: начинайте с бинарных меток, а числовые метки — продвинутый приём, который обычно не нужен.
Инженеры часто считают, что шкалы Лайкерта (рейтинги 1-5) дают больше информации, чем бинарные оценки, позволяя отслеживать постепенные улучшения. Однако на практике эта дополнительная сложность нередко создаёт больше проблем, чем решает.
Бинарные оценки заставляют мыслить яснее и размечать данные более последовательно. Шкалы Лайкерта порождают серьёзные трудности: разница между соседними значениями (например, 3 и 4) субъективна и непоследовательна у разных аннотаторов, для выявления статистических различий требуются бóльшие выборки, а аннотаторы часто по умолчанию выбирают средние значения, чтобы избежать трудных решений.
Наличие лишь двух вариантов заставляет людей принимать решение, а не прятать неопределённость в средних значениях. Кроме того, бинарные решения принимаются быстрее в ходе анализа ошибок — вы не тратите время на споры о том, что это: 3 или 4.
Для отслеживания постепенных улучшений стоит измерять конкретные подкомпоненты собственными бинарными проверками, а не использовать шкалу. Например, вместо того чтобы оценивать фактическую точность по шкале 1-5, можно отслеживать «включено 4 из 5 ожидаемых фактов» как отдельные бинарные проверки. Это сохраняет возможность измерять прогресс, удерживая при этом чёткие и объективные критерии.
Начните с бинарных меток, чтобы понять, как выглядит «плохо». Числовые метки — это продвинутый приём, и обычно они не нужны.
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.