Q: Should I use “ready-to-use” evaluation metrics? – Hamel’s Blog - Hamel Husain
Хамел Хусейн отвечает: не стоит использовать готовые («prefab») метрики оценки LLM-систем — они тратят время и создают ложную уверенность, если только вы не применяете их для разведки. Библиотеки оценок полны абстрактных показателей вроде helpfulness, coherence и quality, но высокие баллы по ним не означают, что ваша система работает для вашего конкретного случая. Вместо этого нужно проводить error analysis, определять бинарные режимы отказа на основе реальных проблем и создавать кастомные оценщики, валидируя их против человеческого суждения. Опытные практики всё же используют generic-метрики — но как инструмент разведки для поиска интересных трейсов, а не как оценку. Цитируется TA курса Eleanor Berger и приводится фраза Пикассо о том, что правила нужно сперва выучить как профи, чтобы потом нарушать их как художник.
Нет. Универсальные метрики оценки тратят время и создают ложную уверенность. (Если только вы не используете их для разведки).
Один из преподавателей отметил:
«Всё, что вы получаете от использования этих готовых evals, — это то, что вы не знаете, что они на самом деле делают, и в лучшем случае они тратят ваше время, а в худшем создают иллюзию уверенности, которая ничем не оправдана.»1
Универсальные метрики оценки повсюду. Библиотеки evals содержат показатели вроде helpfulness, coherence, quality и т. д., обещая лёгкую оценку. Эти метрики измеряют абстрактные качества, которые могут не иметь значения для вашего сценария использования. Хорошие баллы по ним не означают, что ваша система работает.
Вместо этого проводите error analysis, чтобы понять сбои. Определяйте бинарные режимы отказа на основе реальных проблем. Создавайте кастомные оценщики для этих сбоев и проверяйте их на соответствие человеческому суждению. По сути, весь процесс evals целиком.
Опытные практики всё же могут использовать эти метрики — просто не так, как вы ожидаете. Как говорил Пикассо: «Изучи правила как профессионал, чтобы нарушать их как художник.» Как только вы поймёте, почему универсальные метрики не годятся в качестве оценок, вы сможете перепрофилировать их в инструменты разведки для поиска интересных трейсов (объясняется в следующем FAQ).
Эта статья — часть нашего AI Evals FAQ, сборника распространённых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.
Сноски
Eleanor Berger, наша замечательная TA.↩︎