Q: How do I approach evaluation when my system handles diverse user queries? – Hamel’s Blog - Hamel Husain
Хамел Хусейн отвечает на вопрос о том, как подходить к оценке системы, обрабатывающей разнородные пользовательские запросы — от простых вопросов о политике возврата до сложных аналитических сравнений. Главный тезис: стратегия оценки должна вырастать из реально наблюдаемых паттернов ошибок (error analysis), а не из заранее придуманной классификации запросов. Вместо построения огромной матрицы оценки на все возможные типы запросов автор предлагает позволить поведению самой системы определять, куда направить усилия. В ходе error analysis часто обнаруживается, что разные категории запросов делят общие паттерны сбоев — например, всё, что требует темпорального рассуждения, или комбинирования информации из нескольких источников. Группировка по категориям запросов может оказаться удачной, но это становится понятно лишь после анализа данных.
Сложные приложения часто поддерживают принципиально разные паттерны запросов — от «Какова политика возврата?» до «Сравни тренды цен по регионам для продуктов, соответствующих этим критериям». Каждый тип запроса задействует разные возможности системы, что приводит к путанице в том, как проектировать критерии оценки.
Error Analysis — это всё, что вам нужно. Ваша стратегия оценки должна вырастать из наблюдаемых паттернов сбоев (то есть из error analysis), а не из заранее заданной классификации запросов. Вместо того чтобы создавать гигантскую матрицу оценки, покрывающую все мыслимые типы запросов, позвольте реальному поведению системы подсказать, куда вкладывать усилия по оценке.
В ходе error analysis вы, скорее всего, обнаружите, что определённые категории запросов разделяют общие паттерны сбоев. Например, все запросы, требующие темпорального рассуждения, могут давать сбой независимо от того, простые ли это поиски или сложные агрегации. Аналогично, запросы, которым нужно объединять информацию из нескольких источников, могут падать однотипным образом. Эти паттерны, обнаруженные через error analysis, и должны определять ваши приоритеты в оценке. Возможно, категория запроса — вполне подходящий способ группировать сбои, но узнать это можно только после анализа данных.
Чтобы увидеть пример базового error analysis в действии, посмотрите это видео.
Эта статья — часть нашего AI Evals FAQ, сборника типичных вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.