Q: How do I approach evaluation when my system handles diverse user queries? – Hamel’s Blog - Hamel Husain
Хамел Хусейн отвечает на вопрос о том, как подходить к оценке системы, обрабатывающей разнородные пользовательские запросы — от простых вопросов о политике возврата до сложных аналитических сравнений. Главный тезис: стратегия оценки должна вырастать из реально наблюдаемых паттернов ошибок (error analysis), а не из заранее придуманной классификации запросов. Вместо построения огромной матрицы оценки на все возможные типы запросов автор предлагает позволить поведению самой системы определять, куда направить усилия. В ходе error analysis часто обнаруживается, что разные категории запросов делят общие паттерны сбоев — например, всё, что требует темпорального рассуждения, или комбинирования информации из нескольких источников. Группировка по категориям запросов может оказаться удачной, но это становится понятно лишь после анализа данных.
Complex applications often support vastly different query patterns—from “What’s the return policy?” to “Compare pricing trends across regions for products matching these criteria.” Each query type exercises different system capabilities, leading to confusion on how to design eval criteria.
Error Analysis is all you need. Your evaluation strategy should emerge from observed failure patterns (e.g. error analysis), not predetermined query classifications. Rather than creating a massive evaluation matrix covering every query type you can imagine, let your system’s actual behavior guide where you invest evaluation effort.
During error analysis, you’ll likely discover that certain query categories share failure patterns. For instance, all queries requiring temporal reasoning might struggle regardless of whether they’re simple lookups or complex aggregations. Similarly, queries that need to combine information from multiple sources might fail in consistent ways. These patterns discovered through error analysis should drive your evaluation priorities. It could be that query category is a fine way to group failures, but you don’t know that until you’ve analyzed your data.
To see an example of basic error analysis in action, see this video.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.