Q: How are evaluations used differently in CI/CD vs. monitoring production? – Hamel’s Blog - Hamel Husain
Главное различие между оценкой в CI и в продакшене — это данные, на которых проводится тестирование. Тестовые наборы для CI небольшие (часто 100+ примеров) и создаются целенаправленно: они покрывают основные функции, регрессионные тесты прошлых багов и известные граничные случаи; из-за частого запуска стоит отдавать предпочтение детерминированным проверкам, а не LLM-as-judge. В продакшене можно сэмплировать живые трейсы и асинхронно прогонять по ним оценщики, чаще полагаясь на более дорогие безэталонные методы вроде LLM-as-judge, а также отслеживать доверительные интервалы метрик. Эти две системы дополняют друг друга: когда мониторинг продакшена выявляет новые паттерны сбоев, репрезентативные примеры добавляются в датасет CI, снижая риск регрессий.
Самое важное различие между оценкой в CI и в продакшене — это данные, которые используются для тестирования.
Тестовые наборы для CI небольшие (во многих случаях 100+ примеров) и создаются под конкретную задачу. Примеры покрывают основные функции, регрессионные тесты для прошлых багов и известные граничные случаи. Поскольку тесты в CI запускаются часто, стоимость каждого теста нужно тщательно учитывать (именно поэтому датасет аккуратно курируют). Отдавайте предпочтение ассертам или другим детерминированным проверкам, а не оценщикам на основе LLM-as-judge.
Для оценки продакшен-трафика можно сэмплировать живые трейсы и асинхронно прогонять по ним оценщики. Поскольку на продакшен-данных у вас обычно нет эталонных выходов, вам, возможно, придётся больше полагаться на более дорогие безэталонные оценщики вроде LLM-as-judge. Кроме того, отслеживайте доверительные интервалы для продакшен-метрик. Если нижняя граница пересекает ваш порог — разбирайтесь дальше.
Эти две системы дополняют друг друга: когда мониторинг продакшена через анализ ошибок и оценки выявляет новые паттерны сбоев, добавляйте репрезентативные примеры в свой датасет для CI. Это снижает риск регрессий по новым проблемам.
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.