Q: What gaps in eval tooling should I be prepared to fill myself? – Hamel’s Blog - Hamel Husain
Хамель Хусейн перечисляет четыре области, в которых существующие инструменты оценки LLM-приложений недостаточны и которые командам, скорее всего, придётся достраивать самостоятельно. Первая — анализ ошибок и автоматическая кластеризация похожих сбоев (например, выявление паттерна «несоответствие тона и персоны»). Вторая — встроенная AI-помощь на всех этапах: категоризация наблюдений, предложение правок промптов и анализ данных в ноутбуках вроде Julius или Hex. Третья — кастомные оценщики под конкретное приложение вместо общих метрик типа «hallucination score» или «helpfulness rating». Четвёртая — зрелые API для построения собственных интерфейсов аннотирования, с настоящим bulk-экспортом и возможностью эффективно записывать аннотации обратно. Появление этих возможностей у вендора — сильный сигнал, что они понимают потребности практиков.
Большинство инструментов оценки нормально закрывают базу: логирование полных трейсов, отслеживание метрик, песочницы для промптов и очереди аннотирования. Это базовая планка. Ниже — четыре области, где вам, скорее всего, придётся дополнять существующие инструменты.
Обращайте внимание на вендоров, которые закрывают эти пробелы: это сильный сигнал, что они понимают потребности практиков.
1. Анализ ошибок и поиск паттернов
После того как вы просмотрели трейсы, где ваш AI сбоит, способен ли ваш инструмент автоматически кластеризовать похожие проблемы? Например, если в нескольких трейсах ассистент использует разговорный язык для премиальных клиентов, вам нужно нечто, распознающее этот более широкий паттерн «несоответствие тона и персоны». Мы рекомендуем строить возможности, которые используют AI, чтобы предлагать группировки, переписывать ваши наблюдения в более чёткие таксономии ошибок, помогать находить похожие случаи через семантический поиск и так далее.
2. AI-ассистирование на всех этапах рабочего процесса
Самые эффективные процессы используют AI, чтобы ускорить каждую стадию оценки. На этапе анализа ошибок вам нужна LLM, помогающая категоризовать ваши свободные наблюдения в связные режимы сбоев. Например, вы можете аннотировать несколько трейсов заметками вроде «неподходящий тон для инвестора», «слишком разговорно для покупателя люкса» и т. п. Ваш инструмент должен распознать в этом один и тот же базовый паттерн и предложить единую категорию «несоответствие тона и персоны».
Вам также понадобится AI-помощь в предложении исправлений. После выявления 20 случаев, когда ваш ассистент опускает правила о домашних животных в сводках по объектам недвижимости, может ли ваш рабочий процесс проанализировать эти сбои и предложить конкретные правки промпта? Может ли он набросать уточнения к вашим инструкциям по генерации SQL, когда замечает закономерности с пропущенными WHERE-условиями?
Хорошие рабочие процессы также помогают вам проводить анализ данных по вашим аннотациям и трейсам. Я люблю использовать ноутбуки с AI в петле, такие как Julius или Hex. Они помогают мне находить инсайты вроде «ошибки неоднозначности локации возрастают втрое, когда пользователи упоминают названия районов» или «несоответствия тона встречаются на 80% чаще при генерации email, чем в других модальностях».
3. Кастомные оценщики вместо общих метрик
Будьте готовы к тому, что большинство оценщиков вам придётся строить с нуля. Общие метрики вроде «hallucination score» или «helpfulness rating» редко отражают то, что действительно важно для вашего приложения, — например, предложение недоступного времени показа или пропуск бюджетных ограничений в письмах. По нашему опыту, успешные команды тратят основную часть усилий на метрики, специфичные для приложения.
4. API, поддерживающие кастомные приложения для аннотирования
Кастомные интерфейсы аннотирования лучше всего работают для большинства команд. Это требует платформ наблюдаемости с продуманными API. Мне часто приходится строить собственные библиотеки и абстракции просто чтобы сделать массовый экспорт данных управляемым. Вам не должно приходиться пагинировать тысячи запросов или обходить эндпоинты, склонные к таймаутам, только чтобы получить ваши данные. Ищите платформы, которые предоставляют настоящие возможности bulk-экспорта и, что критически важно, API, позволяющие эффективно записывать аннотации обратно.
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.