Q: What makes a good custom interface for reviewing LLM outputs? – Hamel’s Blog - Hamel Husain
Хамель Хусейн объясняет, каким должен быть удобный кастомный интерфейс для ручного просмотра выходов LLM. Он рекомендует строить собственный инструмент аннотации под конкретный домен и приводит четыре приёма: умный рендеринг трейсов (письма как письма, код с подсветкой синтаксиса), индикаторы прогресса и навигация с горячими клавишами для поддержания состояния потока, навигация через кластеризацию, фильтрацию и семантический поиск, а также приоритизация подозрительных трейсов через guardrails, сбои CI и автоматические оценщики. Главный принцип — держать интерфейс минимальным и добавлять функции, только если их польза перевешивает дополнительную сложность и затраты на поддержку. Статья входит в AI Evals FAQ — подборку частых вопросов и ответов о评估 LLM.
Great interfaces make human review fast, clear, and motivating. We recommend building your own annotation tool customized to your domain. The following features are possible enhancements we’ve seen work well, but you don’t need all of them. The screenshots shown are illustrative examples to clarify concepts. In practice, I rarely implement all these features in a single app. It’s ultimately a judgment call based on your specific needs and constraints.
Хорошие интерфейсы делают ручной просмотр быстрым, понятным и мотивирующим. Мы рекомендуем создавать собственный инструмент аннотации, адаптированный под ваш домен. Перечисленные ниже функции — это возможные улучшения, которые, как мы видели, хорошо работают, но вам не нужны все они сразу. Показанные скриншоты — иллюстративные примеры для пояснения концепций. На практике я редко реализую все эти функции в одном приложении. В конечном счёте это вопрос суждения, зависящий от ваших конкретных потребностей и ограничений.
1. Render Traces Intelligently, Not Generically:
1. Отображайте трейсы осмысленно, а не шаблонно:
Present the trace in a way that’s intuitive for the domain. If you’re evaluating generated emails, render them to look like emails. If the output is code, use syntax highlighting. Allow the reviewer to see the full trace (user input, tool calls, and LLM reasoning), but keep less important details in collapsed sections that can be expanded. Here is an example of a custom annotation tool for reviewing real estate assistant emails:
Представляйте трейс так, чтобы это было интуитивно понятно для домена. Если вы оцениваете сгенерированные письма, отображайте их так, чтобы они выглядели как письма. Если на выходе код — используйте подсветку синтаксиса. Дайте рецензенту возможность видеть полный трейс (пользовательский ввод, вызовы инструментов и рассуждения LLM), но менее важные детали держите в свёрнутых секциях, которые можно развернуть. Вот пример кастомного инструмента аннотации для просмотра писем ассистента по недвижимости:
2. Show Progress and Support Keyboard Navigation:
2. Показывайте прогресс и поддерживайте навигацию с клавиатуры:
Keep reviewers in a state of flow by minimizing friction and motivating completion. Include progress indicators (e.g., “Trace 45 of 100”) to keep the review session bounded and encourage completion. Enable hotkeys for navigating between traces (e.g., N for next), applying labels, and saving notes quickly. Below is an illustration of these features:
Удерживайте рецензентов в состоянии потока, минимизируя трение и мотивируя на завершение. Добавьте индикаторы прогресса (например, «Трейс 45 из 100»), чтобы сессия просмотра была ограниченной и побуждала к завершению. Включите горячие клавиши для навигации между трейсами (например, N для перехода к следующему), быстрого применения меток и сохранения заметок. Ниже — иллюстрация этих функций:
3. Trace navigation through clustering, filtering, and search:
3. Навигация по трейсам через кластеризацию, фильтрацию и поиск:
Allow reviewers to filter traces by metadata or search by keywords. Semantic search helps find conceptually similar problems. Clustering similar traces (like grouping by user persona) lets reviewers spot recurring issues and explore hypotheses. Below is an illustration of these features:
Позвольте рецензентам фильтровать трейсы по метаданным или искать по ключевым словам. Семантический поиск помогает находить концептуально схожие проблемы. Кластеризация похожих трейсов (например, группировка по персоне пользователя) позволяет рецензентам замечать повторяющиеся проблемы и проверять гипотезы. Ниже — иллюстрация этих функций:
4. Prioritize labeling traces you think might be problematic:
4. Приоритизируйте разметку трейсов, которые вы считаете потенциально проблемными:
Surface traces flagged by guardrails, CI failures, or automated evaluators for review. Provide buttons to take actions like adding to datasets, filing bugs, or re-running pipeline tests. Display relevant context (pipeline version, eval scores, reviewer info) directly in the interface to minimize context switching. Below is an illustration of these ideas:
Выводите на просмотр трейсы, отмеченные guardrails, сбоями CI или автоматическими оценщиками. Предусмотрите кнопки для действий вроде добавления в датасеты, заведения багов или повторного запуска тестов пайплайна. Отображайте релевантный контекст (версию пайплайна, оценки eval, информацию о рецензенте) прямо в интерфейсе, чтобы минимизировать переключение контекста. Ниже — иллюстрация этих идей:
General Principle: Keep it minimal
Общий принцип: держите минимальным
Keep your annotation interface minimal. Only incorporate these ideas if they provide a benefit that outweighs the additional complexity and maintenance overhead.
Держите интерфейс аннотации минимальным. Внедряйте эти идеи только в том случае, если их польза перевешивает дополнительную сложность и затраты на поддержку.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.