rss_feedHamel Husain ·15.08.2025 open_in_newОригинал

Q: How can I efficiently sample production traces for review? – Hamel’s Blog - Hamel Husain

#Data Annotation #LLM Evals #Production Ml

auto_awesomeКраткое саммари

Хамел Хусейн отвечает на вопрос о том, как эффективно отбирать продакшн-трейсы для ревью, ведь случайный просмотр неэффективен — большинство трейсов не содержат ошибок. Он предлагает несколько стратегий сэмплирования, повышающих шанс найти проблемы: поиск выбросов (сортировка по метрикам вроде длины ответа, задержки, числа вызовов инструментов и просмотр крайних значений), приоритет трейсов с негативным фидбэком пользователей, сортировка по метрикам как сигнал для исследования, стратифицированный сэмплинг по ключевым измерениям и кластеризация эмбеддингов запросов. На основе найденных паттернов можно строить кастомные оценщики для обнаруженных режимов отказов. Эти тактики можно встроить в дизайн инструментов аннотирования. Материал входит в AI Evals FAQ — сборник вопросов и ответов об оценке LLM.

translate EN + RU EN RU

It can be cumbersome to review traces randomly, especially when most traces don’t have an error. These sampling strategies help you find traces more likely to reveal problems:

Outlier detection: Sort by any metric (response length, latency, tool calls) and review extremes.

User feedback signals: Prioritize traces with negative feedback, support tickets, or escalations.

Metric-based sorting: Generic metrics can serve as exploration signals to find interesting traces. Review both high and low scores and treat them as exploration clues. Based on what you learn, you can build custom evaluators for the failure modes you find.

Stratified sampling: Group traces by key dimensions (user type, feature, query category) and sample from each group.

Embedding clustering: Generate embeddings of queries and cluster them to reveal natural groupings. Sample proportionally from each cluster, but oversample small clusters for edge cases. There’s no right answer for clustering—it’s an exploration technique to surface patterns you might miss manually.

As you get more sophisticated with how you sample, you can incorporate these tactics into the design of your annotation tools.

↩︎ Back to main FAQ

This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.