Q: Should I use “ready-to-use” evaluation metrics? – Hamel’s Blog - Hamel Husain
Хамел Хусейн отвечает: не стоит использовать готовые («prefab») метрики оценки LLM-систем — они тратят время и создают ложную уверенность, если только вы не применяете их для разведки. Библиотеки оценок полны абстрактных показателей вроде helpfulness, coherence и quality, но высокие баллы по ним не означают, что ваша система работает для вашего конкретного случая. Вместо этого нужно проводить error analysis, определять бинарные режимы отказа на основе реальных проблем и создавать кастомные оценщики, валидируя их против человеческого суждения. Опытные практики всё же используют generic-метрики — но как инструмент разведки для поиска интересных трейсов, а не как оценку. Цитируется TA курса Eleanor Berger и приводится фраза Пикассо о том, что правила нужно сперва выучить как профи, чтобы потом нарушать их как художник.
No. Generic evaluations waste time and create false confidence. (Unless you’re using them for exploration).
Нет. Универсальные метрики оценки тратят время и создают ложную уверенность. (Если только вы не используете их для разведки).
One instructor noted:
Один из преподавателей отметил:
“All you get from using these prefab evals is you don’t know what they actually do and in the best case they waste your time and in the worst case they create an illusion of confidence that is unjustified.”1
«Всё, что вы получаете от использования этих готовых evals, — это то, что вы не знаете, что они на самом деле делают, и в лучшем случае они тратят ваше время, а в худшем создают иллюзию уверенности, которая ничем не оправдана.»1
Generic evaluation metrics are everywhere. Eval libraries contain scores like helpfulness, coherence, quality, etc. promising easy evaluation. These metrics measure abstract qualities that may not matter for your use case. Good scores on them don’t mean your system works.
Универсальные метрики оценки повсюду. Библиотеки evals содержат показатели вроде helpfulness, coherence, quality и т. д., обещая лёгкую оценку. Эти метрики измеряют абстрактные качества, которые могут не иметь значения для вашего сценария использования. Хорошие баллы по ним не означают, что ваша система работает.
Instead, conduct error analysis to understand failures. Define binary failure modes based on real problems. Create custom evaluators for those failures and validate them against human judgment. Essentially, the entire evals process.
Вместо этого проводите error analysis, чтобы понять сбои. Определяйте бинарные режимы отказа на основе реальных проблем. Создавайте кастомные оценщики для этих сбоев и проверяйте их на соответствие человеческому суждению. По сути, весь процесс evals целиком.
Experienced practitioners may still use these metrics, just not how you’d expect. As Picasso said: “Learn the rules like a pro, so you can break them like an artist.” Once you understand why generic metrics fail as evaluations, you can repurpose them as exploration tools to find interesting traces (explained in the next FAQ).
Опытные практики всё же могут использовать эти метрики — просто не так, как вы ожидаете. Как говорил Пикассо: «Изучи правила как профессионал, чтобы нарушать их как художник.» Как только вы поймёте, почему универсальные метрики не годятся в качестве оценок, вы сможете перепрофилировать их в инструменты разведки для поиска интересных трейсов (объясняется в следующем FAQ).
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья — часть нашего AI Evals FAQ, сборника распространённых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.
Footnotes
Сноски
Eleanor Berger, our wonderful TA.↩︎
Eleanor Berger, наша замечательная TA.↩︎