Q: How do we evaluate a model’s ability to express uncertainty or “know what it doesn’t know”? – Hamel’s Blog - Hamel Husain
Статья объясняет, как оценивать способность языковой модели выражать неуверенность и отказываться отвечать при недостатке информации. Для этого предлагается создать оценочный набор из двух типов вопросов: на которые можно ответить и на которые ответить невозможно. Оценка производится по бинарной шкале «зачёт/незачёт»: модель должна корректно отвечать на отвечаемые вопросы и отказываться от неотвечаемых. Выдача сфабрикованного ответа на неотвечаемый вопрос считается провалом и свидетельствует о плохой калибровке. В научной литературе эта способность известна как «Abstention Ability», и автор рекомендует искать по этому термину на Arxiv для изучения актуальных методов.
Many applications require a model that can refuse to answer a question when it lacks sufficient information. To evaluate whether this refusal behavior is well-calibrated, you need to test if the model refuses at the appropriate times without refusing to answer questions it should be able to answer.
Многие приложения требуют модели, способной отказаться отвечать на вопрос, если ей не хватает информации. Чтобы оценить, насколько корректно откалибровано такое поведение отказа, нужно проверить, отказывает ли модель в подходящих случаях, не отклоняя при этом вопросы, на которые она должна уметь ответить.
To do this effectively, you should construct an evaluation set that has the following components:
Для эффективной проверки стоит подготовить оценочный набор, содержащий следующие компоненты:
Отвечаемые вопросы: Сценарии, в которых правильный, проверяемый ответ присутствует в предоставленном модели контексте или в её общих знаниях. Неотвечаемые вопросы: Сценарии, призванные спровоцировать модель на галлюцинации. Среди них — вопросы с ложными предпосылками, запросы об информации, явно отсутствующей в контексте, или темы, далеко выходящие за пределы базы знаний модели.
While the exact proportion isn’t critical, a balanced set with a roughly equal number of answerable and unanswerable questions is a good starting point. The diversity and difficulty of the questions are more important than the precise ratio.
Точное соотношение не критично, но сбалансированный набор с примерно равным числом отвечаемых и неотвечаемых вопросов — хорошая отправная точка. Разнообразие и сложность вопросов важнее точной пропорции.
The evaluation itself is a binary (Pass/Fail) check of the model’s judgment. A “Pass” requires the model to satisfy two conditions: it must answer the answerable questions while also refusing to answer the unanswerable ones. A failure is defined as providing a fabricated answer to an unanswerable question, which indicates poor calibration.
Сама оценка представляет собой бинарную проверку (зачёт/незачёт) суждений модели. «Зачёт» требует выполнения двух условий: модель должна отвечать на отвечаемые вопросы и одновременно отказываться от неотвечаемых. Провалом считается выдача сфабрикованного ответа на неотвечаемый вопрос — это свидетельствует о плохой калибровке.
In the research literature, this capability is known as “Abstention Ability.” To improve this behavior, it is worth searching for this term on Arxiv to understand the latest techniques.
В научной литературе эта способность известна как «Abstention Ability» (способность воздержаться от ответа). Для улучшения такого поведения стоит поискать этот термин на Arxiv, чтобы ознакомиться с актуальными методами.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья — часть нашего FAQ по оценке ИИ, сборника распространённых вопросов (и ответов) об оценке LLM. Смотреть все вопросы FAQ или вернуться на главную.