Q: How are evaluations used differently in CI/CD vs. monitoring production? – Hamel’s Blog - Hamel Husain
Главное различие между оценкой в CI и в продакшене — это данные, на которых проводится тестирование. Тестовые наборы для CI небольшие (часто 100+ примеров) и создаются целенаправленно: они покрывают основные функции, регрессионные тесты прошлых багов и известные граничные случаи; из-за частого запуска стоит отдавать предпочтение детерминированным проверкам, а не LLM-as-judge. В продакшене можно сэмплировать живые трейсы и асинхронно прогонять по ним оценщики, чаще полагаясь на более дорогие безэталонные методы вроде LLM-as-judge, а также отслеживать доверительные интервалы метрик. Эти две системы дополняют друг друга: когда мониторинг продакшена выявляет новые паттерны сбоев, репрезентативные примеры добавляются в датасет CI, снижая риск регрессий.
The most important difference between CI vs. production evaluation is the data used for testing.
Самое важное различие между оценкой в CI и в продакшене — это данные, которые используются для тестирования.
Test datasets for CI are small (in many cases 100+ examples) and purpose-built. Examples cover core features, regression tests for past bugs, and known edge cases. Since CI tests are run frequently, the cost of each test has to be carefully considered (that’s why you carefully curate the dataset). Favor assertions or other deterministic checks over LLM-as-judge evaluators.
Тестовые наборы для CI небольшие (во многих случаях 100+ примеров) и создаются под конкретную задачу. Примеры покрывают основные функции, регрессионные тесты для прошлых багов и известные граничные случаи. Поскольку тесты в CI запускаются часто, стоимость каждого теста нужно тщательно учитывать (именно поэтому датасет аккуратно курируют). Отдавайте предпочтение ассертам или другим детерминированным проверкам, а не оценщикам на основе LLM-as-judge.
For evaluating production traffic, you can sample live traces and run evaluators against them asynchronously. Since you usually lack reference outputs on production data, you might rely more on on more expensive reference-free evaluators like LLM-as-judge. Additionally, track confidence intervals for production metrics. If the lower bound crosses your threshold, investigate further.
Для оценки продакшен-трафика можно сэмплировать живые трейсы и асинхронно прогонять по ним оценщики. Поскольку на продакшен-данных у вас обычно нет эталонных выходов, вам, возможно, придётся больше полагаться на более дорогие безэталонные оценщики вроде LLM-as-judge. Кроме того, отслеживайте доверительные интервалы для продакшен-метрик. Если нижняя граница пересекает ваш порог — разбирайтесь дальше.
These two systems are complementary: when production monitoring reveals new failure patterns through error analysis and evals, add representative examples to your CI dataset. This mitigates regressions on new issues.
Эти две системы дополняют друг друга: когда мониторинг продакшена через анализ ошибок и оценки выявляет новые паттерны сбоев, добавляйте репрезентативные примеры в свой датасет для CI. Это снижает риск регрессий по новым проблемам.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.