Q: What makes a good custom interface for reviewing LLM outputs? – Hamel’s Blog - Hamel Husain
Хамель Хусейн объясняет, каким должен быть удобный кастомный интерфейс для ручного просмотра выходов LLM. Он рекомендует строить собственный инструмент аннотации под конкретный домен и приводит четыре приёма: умный рендеринг трейсов (письма как письма, код с подсветкой синтаксиса), индикаторы прогресса и навигация с горячими клавишами для поддержания состояния потока, навигация через кластеризацию, фильтрацию и семантический поиск, а также приоритизация подозрительных трейсов через guardrails, сбои CI и автоматические оценщики. Главный принцип — держать интерфейс минимальным и добавлять функции, только если их польза перевешивает дополнительную сложность и затраты на поддержку. Статья входит в AI Evals FAQ — подборку частых вопросов и ответов о评估 LLM.
Хорошие интерфейсы делают ручной просмотр быстрым, понятным и мотивирующим. Мы рекомендуем создавать собственный инструмент аннотации, адаптированный под ваш домен. Перечисленные ниже функции — это возможные улучшения, которые, как мы видели, хорошо работают, но вам не нужны все они сразу. Показанные скриншоты — иллюстративные примеры для пояснения концепций. На практике я редко реализую все эти функции в одном приложении. В конечном счёте это вопрос суждения, зависящий от ваших конкретных потребностей и ограничений.
1. Отображайте трейсы осмысленно, а не шаблонно:
Представляйте трейс так, чтобы это было интуитивно понятно для домена. Если вы оцениваете сгенерированные письма, отображайте их так, чтобы они выглядели как письма. Если на выходе код — используйте подсветку синтаксиса. Дайте рецензенту возможность видеть полный трейс (пользовательский ввод, вызовы инструментов и рассуждения LLM), но менее важные детали держите в свёрнутых секциях, которые можно развернуть. Вот пример кастомного инструмента аннотации для просмотра писем ассистента по недвижимости:
2. Показывайте прогресс и поддерживайте навигацию с клавиатуры:
Удерживайте рецензентов в состоянии потока, минимизируя трение и мотивируя на завершение. Добавьте индикаторы прогресса (например, «Трейс 45 из 100»), чтобы сессия просмотра была ограниченной и побуждала к завершению. Включите горячие клавиши для навигации между трейсами (например, N для перехода к следующему), быстрого применения меток и сохранения заметок. Ниже — иллюстрация этих функций:
3. Навигация по трейсам через кластеризацию, фильтрацию и поиск:
Позвольте рецензентам фильтровать трейсы по метаданным или искать по ключевым словам. Семантический поиск помогает находить концептуально схожие проблемы. Кластеризация похожих трейсов (например, группировка по персоне пользователя) позволяет рецензентам замечать повторяющиеся проблемы и проверять гипотезы. Ниже — иллюстрация этих функций:
4. Приоритизируйте разметку трейсов, которые вы считаете потенциально проблемными:
Выводите на просмотр трейсы, отмеченные guardrails, сбоями CI или автоматическими оценщиками. Предусмотрите кнопки для действий вроде добавления в датасеты, заведения багов или повторного запуска тестов пайплайна. Отображайте релевантный контекст (версию пайплайна, оценки eval, информацию о рецензенте) прямо в интерфейсе, чтобы минимизировать переключение контекста. Ниже — иллюстрация этих идей:
Общий принцип: держите минимальным
Держите интерфейс аннотации минимальным. Внедряйте эти идеи только в том случае, если их польза перевешивает дополнительную сложность и затраты на поддержку.
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.