Evals Skills for Coding Agents

Today, I’m publishing evals-skills, a set of skills for AI product evals¹. They guard against common mistakes I’ve seen helping 50+ companies and teaching 4,000+ students in our course.

Сегодня я публикую evals-skills — набор навыков (skills) для оценки AI-продуктов1. Они защищают от типичных ошибок, которые я наблюдал, помогая более чем 50 компаниям и обучая свыше 4000 студентов на нашем курсе.

Why Skills for Evals

Зачем нужны навыки для evals

Coding agents now instrument applications, run experiments, analyze data, and build interfaces. I’ve been pointing them at evals.

Кодящие агенты теперь инструментируют приложения, проводят эксперименты, анализируют данные и создают интерфейсы. Я направляю их на задачи evals.

OpenAI’s Harness Engineering article makes the case well. They built a product entirely with Codex agents — three engineers, five months, ~1 million lines of code — and found that improving the infrastructure around the agent mattered more than improving the model. The agents queried traces to verify their own work. Documentation tells the agent what to do. Telemetry tells it whether it worked. Evals tell it whether the output is good.

Статья OpenAI о Harness Engineering хорошо это аргументирует. Они построили продукт целиком с помощью агентов Codex — три инженера, пять месяцев, ~1 миллион строк кода — и обнаружили, что улучшение инфраструктуры вокруг агента имело большее значение, чем улучшение самой модели. Агенты запрашивали трейсы, чтобы проверять собственную работу. Документация говорит агенту, что делать. Телеметрия говорит, сработало ли это. Evals говорят, хорош ли результат.

All major eval vendors now ship an MCP server². The tedious parts: instrumenting your app, orchestrating experiments and building annotation tools now fall to coding agents.

Все крупные eval-вендоры теперь поставляют MCP-сервер2. Рутинные части — инструментирование вашего приложения, оркестрация экспериментов и создание инструментов для аннотирования — теперь ложатся на кодящих агентов.

But an agent with an eval platform still needs to know what to do with it. Say a support bot tells a customer “your plan includes free returns” when it doesn’t. Another says “I’ve canceled your order” when nobody asked. Both are hallucinations, but one gets a fact wrong and the other makes up a user action. If you lump them together in a generic “hallucination score,” you’ll miss errors.

Но агенту с eval-платформой всё ещё нужно знать, что с ней делать. Допустим, бот поддержки говорит клиенту «ваш тариф включает бесплатный возврат», хотя это не так. Другой говорит «я отменил ваш заказ», хотя никто об этом не просил. Оба случая — галлюцинации, но один искажает факт, а другой выдумывает действие пользователя. Если свалить их в общий «hallucination score», вы упустите ошибки.

These skills fill the gaps. They complement the vendor MCP servers: those give your agent access to traces and experiments, these teach it what to do with them.

Эти навыки восполняют пробелы. Они дополняют MCP-серверы вендоров: те дают вашему агенту доступ к трейсам и экспериментам, а эти учат его, что с ними делать.

The Skills

Навыки

If you’re new to evals or inheriting an existing eval pipeline, start with eval-audit. It inspects your current setup (or lack of one), runs diagnostic checks across six areas, and produces a prioritized list of problems with next steps. Install the skills or give your agent this prompt:

Если вы новичок в evals или вам достался уже существующий eval-пайплайн, начните с eval-audit. Он инспектирует вашу текущую конфигурацию (или её отсутствие), запускает диагностические проверки по шести областям и выдаёт приоритизированный список проблем со следующими шагами. Установите навыки или дайте своему агенту такой промпт:

Install the eval skills plugin from https://github.com/hamelsmu/evals-skills, then run /evals-skills:eval-audit on my eval pipeline. Investigate each diagnostic area using a separate subagent in parallel, then synthesize the findings into a single report. Use other skills in the plugin as recommended by the audit.

Установи плагин eval skills из https://github.com/hamelsmu/evals-skills, затем запусти /evals-skills:eval-audit на моём eval-пайплайне. Исследуй каждую диагностическую область с помощью отдельного субагента параллельно, затем синтезируй результаты в единый отчёт. Используй другие навыки из плагина так, как рекомендует аудит.

If you’re experienced with evals, you can skip the audit and pick the skill you need:

Если у вас есть опыт работы с evals, можете пропустить аудит и выбрать нужный вам навык:

These skills are a starting point and only encode common mistakes that generalize across projects. Skills grounded in your stack, your domain, and your data will outperform them. Start here, then write your own.

Эти навыки — отправная точка, и они кодируют лишь типичные ошибки, которые обобщаются на разные проекты. Навыки, заземлённые на вашем стеке, вашей предметной области и ваших данных, превзойдут их. Начните отсюда, а затем пишите свои собственные.

👉 The repo is here: github.com/hamelsmu/evals-skills 👈

👉 Репозиторий здесь: github.com/hamelsmu/evals-skills 👈

If these skills help you, I’d love to hear from you! You can find me on X or email me through my newsletter.

Если эти навыки вам помогут, буду рад услышать от вас! Меня можно найти в X или написать мне через мою рассылку.

Footnotes

Сноски

Не бенчмарки фундаментальных моделей вроде MMLU или HELM, которые измеряют общие возможности LLM. Продуктовые evals измеряют, работает ли ваш пайплайн на вашей задаче с вашими данными. Если вы не знакомы с продуктовыми AI-evals, загляните в мой AI Evals FAQ.↩︎ Braintrust, LangSmith, Phoenix, Truesight и другие.↩︎