Q: What gaps in eval tooling should I be prepared to fill myself? – Hamel’s Blog - Hamel Husain
Хамель Хусейн перечисляет четыре области, в которых существующие инструменты оценки LLM-приложений недостаточны и которые командам, скорее всего, придётся достраивать самостоятельно. Первая — анализ ошибок и автоматическая кластеризация похожих сбоев (например, выявление паттерна «несоответствие тона и персоны»). Вторая — встроенная AI-помощь на всех этапах: категоризация наблюдений, предложение правок промптов и анализ данных в ноутбуках вроде Julius или Hex. Третья — кастомные оценщики под конкретное приложение вместо общих метрик типа «hallucination score» или «helpfulness rating». Четвёртая — зрелые API для построения собственных интерфейсов аннотирования, с настоящим bulk-экспортом и возможностью эффективно записывать аннотации обратно. Появление этих возможностей у вендора — сильный сигнал, что они понимают потребности практиков.
Most eval tools handle the basics well: logging complete traces, tracking metrics, prompt playgrounds, and annotation queues. These are table stakes. Here are four areas where you’ll likely need to supplement existing tools.
Большинство инструментов оценки нормально закрывают базу: логирование полных трейсов, отслеживание метрик, песочницы для промптов и очереди аннотирования. Это базовая планка. Ниже — четыре области, где вам, скорее всего, придётся дополнять существующие инструменты.
Watch for vendors addressing these gaps: it’s a strong signal they understand practitioner needs.
Обращайте внимание на вендоров, которые закрывают эти пробелы: это сильный сигнал, что они понимают потребности практиков.
1. Error Analysis and Pattern Discovery
1. Анализ ошибок и поиск паттернов
After reviewing traces where your AI fails, can your tooling automatically cluster similar issues? For instance, if multiple traces show the assistant using casual language for luxury clients, you need something that recognizes this broader “persona-tone mismatch” pattern. We recommend building capabilities that use AI to suggest groupings, rewrite your observations into clearer failure taxonomies, help find similar cases through semantic search, etc.
После того как вы просмотрели трейсы, где ваш AI сбоит, способен ли ваш инструмент автоматически кластеризовать похожие проблемы? Например, если в нескольких трейсах ассистент использует разговорный язык для премиальных клиентов, вам нужно нечто, распознающее этот более широкий паттерн «несоответствие тона и персоны». Мы рекомендуем строить возможности, которые используют AI, чтобы предлагать группировки, переписывать ваши наблюдения в более чёткие таксономии ошибок, помогать находить похожие случаи через семантический поиск и так далее.
2. AI-Powered Assistance Throughout the Workflow
2. AI-ассистирование на всех этапах рабочего процесса
The most effective workflows use AI to accelerate every stage of evaluation. During error analysis, you want an LLM helping categorize your open-ended observations into coherent failure modes. For example, you might annotate several traces with notes like “wrong tone for investor,” “too casual for luxury buyer,” etc. Your tooling should recognize these as the same underlying pattern and suggest a unified “persona-tone mismatch” category.
Самые эффективные процессы используют AI, чтобы ускорить каждую стадию оценки. На этапе анализа ошибок вам нужна LLM, помогающая категоризовать ваши свободные наблюдения в связные режимы сбоев. Например, вы можете аннотировать несколько трейсов заметками вроде «неподходящий тон для инвестора», «слишком разговорно для покупателя люкса» и т. п. Ваш инструмент должен распознать в этом один и тот же базовый паттерн и предложить единую категорию «несоответствие тона и персоны».
You’ll also want AI assistance in proposing fixes. After identifying 20 cases where your assistant omits pet policies from property summaries, can your workflow analyze these failures and suggest specific prompt modifications? Can it draft refinements to your SQL generation instructions when it notices patterns of missing WHERE clauses?
Вам также понадобится AI-помощь в предложении исправлений. После выявления 20 случаев, когда ваш ассистент опускает правила о домашних животных в сводках по объектам недвижимости, может ли ваш рабочий процесс проанализировать эти сбои и предложить конкретные правки промпта? Может ли он набросать уточнения к вашим инструкциям по генерации SQL, когда замечает закономерности с пропущенными WHERE-условиями?
Good workflows also help you conduct data analysis of your annotations and traces. I like using notebooks with AI in-the-loop like Julius or Hex. These help me discover insights like “location ambiguity errors spike 3x when users mention neighborhood names” or “tone mismatches occur 80% more often in email generation than other modalities.”
Хорошие рабочие процессы также помогают вам проводить анализ данных по вашим аннотациям и трейсам. Я люблю использовать ноутбуки с AI в петле, такие как Julius или Hex. Они помогают мне находить инсайты вроде «ошибки неоднозначности локации возрастают втрое, когда пользователи упоминают названия районов» или «несоответствия тона встречаются на 80% чаще при генерации email, чем в других модальностях».
3. Custom Evaluators Over Generic Metrics
3. Кастомные оценщики вместо общих метрик
Be prepared to build most of your evaluators from scratch. Generic metrics like “hallucination score” or “helpfulness rating” rarely capture what actually matters for your application—like proposing unavailable showing times or omitting budget constraints from emails. In our experience, successful teams spend most of their effort on application-specific metrics.
Будьте готовы к тому, что большинство оценщиков вам придётся строить с нуля. Общие метрики вроде «hallucination score» или «helpfulness rating» редко отражают то, что действительно важно для вашего приложения, — например, предложение недоступного времени показа или пропуск бюджетных ограничений в письмах. По нашему опыту, успешные команды тратят основную часть усилий на метрики, специфичные для приложения.
4. APIs That Support Custom Annotation Apps
4. API, поддерживающие кастомные приложения для аннотирования
Custom annotation interfaces work best for most teams. This requires observability platforms with thoughtful APIs. I often have to build my own libraries and abstractions just to make bulk data export manageable. You shouldn’t have to paginate through thousands of requests or handle timeout-prone endpoints just to get your data. Look for platforms that provide true bulk export capabilities and, crucially, APIs that let you write annotations back efficiently.
Кастомные интерфейсы аннотирования лучше всего работают для большинства команд. Это требует платформ наблюдаемости с продуманными API. Мне часто приходится строить собственные библиотеки и абстракции просто чтобы сделать массовый экспорт данных управляемым. Вам не должно приходиться пагинировать тысячи запросов или обходить эндпоинты, склонные к таймаутам, только чтобы получить ваши данные. Ищите платформы, которые предоставляют настоящие возможности bulk-экспорта и, что критически важно, API, позволяющие эффективно записывать аннотации обратно.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.