Evals Skills for Coding Agents

Сегодня я публикую evals-skills — набор навыков (skills) для оценки AI-продуктов1. Они защищают от типичных ошибок, которые я наблюдал, помогая более чем 50 компаниям и обучая свыше 4000 студентов на нашем курсе.

Зачем нужны навыки для evals

Кодящие агенты теперь инструментируют приложения, проводят эксперименты, анализируют данные и создают интерфейсы. Я направляю их на задачи evals.

Статья OpenAI о Harness Engineering хорошо это аргументирует. Они построили продукт целиком с помощью агентов Codex — три инженера, пять месяцев, ~1 миллион строк кода — и обнаружили, что улучшение инфраструктуры вокруг агента имело большее значение, чем улучшение самой модели. Агенты запрашивали трейсы, чтобы проверять собственную работу. Документация говорит агенту, что делать. Телеметрия говорит, сработало ли это. Evals говорят, хорош ли результат.

Все крупные eval-вендоры теперь поставляют MCP-сервер2. Рутинные части — инструментирование вашего приложения, оркестрация экспериментов и создание инструментов для аннотирования — теперь ложатся на кодящих агентов.

Но агенту с eval-платформой всё ещё нужно знать, что с ней делать. Допустим, бот поддержки говорит клиенту «ваш тариф включает бесплатный возврат», хотя это не так. Другой говорит «я отменил ваш заказ», хотя никто об этом не просил. Оба случая — галлюцинации, но один искажает факт, а другой выдумывает действие пользователя. Если свалить их в общий «hallucination score», вы упустите ошибки.

Эти навыки восполняют пробелы. Они дополняют MCP-серверы вендоров: те дают вашему агенту доступ к трейсам и экспериментам, а эти учат его, что с ними делать.

Навыки

Если вы новичок в evals или вам достался уже существующий eval-пайплайн, начните с eval-audit. Он инспектирует вашу текущую конфигурацию (или её отсутствие), запускает диагностические проверки по шести областям и выдаёт приоритизированный список проблем со следующими шагами. Установите навыки или дайте своему агенту такой промпт:

Установи плагин eval skills из https://github.com/hamelsmu/evals-skills, затем запусти /evals-skills:eval-audit на моём eval-пайплайне. Исследуй каждую диагностическую область с помощью отдельного субагента параллельно, затем синтезируй результаты в единый отчёт. Используй другие навыки из плагина так, как рекомендует аудит.

Если у вас есть опыт работы с evals, можете пропустить аудит и выбрать нужный вам навык:

Эти навыки — отправная точка, и они кодируют лишь типичные ошибки, которые обобщаются на разные проекты. Навыки, заземлённые на вашем стеке, вашей предметной области и ваших данных, превзойдут их. Начните отсюда, а затем пишите свои собственные.

👉 Репозиторий здесь: github.com/hamelsmu/evals-skills 👈

Если эти навыки вам помогут, буду рад услышать от вас! Меня можно найти в X или написать мне через мою рассылку.

Сноски

Не бенчмарки фундаментальных моделей вроде MMLU или HELM, которые измеряют общие возможности LLM. Продуктовые evals измеряют, работает ли ваш пайплайн на вашей задаче с вашими данными. Если вы не знакомы с продуктовыми AI-evals, загляните в мой AI Evals FAQ.↩︎ Braintrust, LangSmith, Phoenix, Truesight и другие.↩︎