Q: How are evaluations used differently in CI/CD vs. monitoring production? – Hamel’s Blog - Hamel Husain
Главное различие между оценкой в CI и в продакшене — это данные, на которых проводится тестирование. Тестовые наборы для CI небольшие (часто 100+ примеров) и создаются целенаправленно: они покрывают основные функции, регрессионные тесты прошлых багов и известные граничные случаи; из-за частого запуска стоит отдавать предпочтение детерминированным проверкам, а не LLM-as-judge. В продакшене можно сэмплировать живые трейсы и асинхронно прогонять по ним оценщики, чаще полагаясь на более дорогие безэталонные методы вроде LLM-as-judge, а также отслеживать доверительные интервалы метрик. Эти две системы дополняют друг друга: когда мониторинг продакшена выявляет новые паттерны сбоев, репрезентативные примеры добавляются в датасет CI, снижая риск регрессий.
The most important difference between CI vs. production evaluation is the data used for testing.
Test datasets for CI are small (in many cases 100+ examples) and purpose-built. Examples cover core features, regression tests for past bugs, and known edge cases. Since CI tests are run frequently, the cost of each test has to be carefully considered (that’s why you carefully curate the dataset). Favor assertions or other deterministic checks over LLM-as-judge evaluators.
For evaluating production traffic, you can sample live traces and run evaluators against them asynchronously. Since you usually lack reference outputs on production data, you might rely more on on more expensive reference-free evaluators like LLM-as-judge. Additionally, track confidence intervals for production metrics. If the lower bound crosses your threshold, investigate further.
These two systems are complementary: when production monitoring reveals new failure patterns through error analysis and evals, add representative examples to your CI dataset. This mitigates regressions on new issues.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.