Q: How do we evaluate a model’s ability to express uncertainty or “know what it doesn’t know”? – Hamel’s Blog - Hamel Husain
Статья объясняет, как оценивать способность языковой модели выражать неуверенность и отказываться отвечать при недостатке информации. Для этого предлагается создать оценочный набор из двух типов вопросов: на которые можно ответить и на которые ответить невозможно. Оценка производится по бинарной шкале «зачёт/незачёт»: модель должна корректно отвечать на отвечаемые вопросы и отказываться от неотвечаемых. Выдача сфабрикованного ответа на неотвечаемый вопрос считается провалом и свидетельствует о плохой калибровке. В научной литературе эта способность известна как «Abstention Ability», и автор рекомендует искать по этому термину на Arxiv для изучения актуальных методов.
Многие приложения требуют модели, способной отказаться отвечать на вопрос, если ей не хватает информации. Чтобы оценить, насколько корректно откалибровано такое поведение отказа, нужно проверить, отказывает ли модель в подходящих случаях, не отклоняя при этом вопросы, на которые она должна уметь ответить.
Для эффективной проверки стоит подготовить оценочный набор, содержащий следующие компоненты:
Отвечаемые вопросы: Сценарии, в которых правильный, проверяемый ответ присутствует в предоставленном модели контексте или в её общих знаниях. Неотвечаемые вопросы: Сценарии, призванные спровоцировать модель на галлюцинации. Среди них — вопросы с ложными предпосылками, запросы об информации, явно отсутствующей в контексте, или темы, далеко выходящие за пределы базы знаний модели.
Точное соотношение не критично, но сбалансированный набор с примерно равным числом отвечаемых и неотвечаемых вопросов — хорошая отправная точка. Разнообразие и сложность вопросов важнее точной пропорции.
Сама оценка представляет собой бинарную проверку (зачёт/незачёт) суждений модели. «Зачёт» требует выполнения двух условий: модель должна отвечать на отвечаемые вопросы и одновременно отказываться от неотвечаемых. Провалом считается выдача сфабрикованного ответа на неотвечаемый вопрос — это свидетельствует о плохой калибровке.
В научной литературе эта способность известна как «Abstention Ability» (способность воздержаться от ответа). Для улучшения такого поведения стоит поискать этот термин на Arxiv, чтобы ознакомиться с актуальными методами.
Эта статья — часть нашего FAQ по оценке ИИ, сборника распространённых вопросов (и ответов) об оценке LLM. Смотреть все вопросы FAQ или вернуться на главную.