Evals Skills for Coding Agents – Hamel’s Blog - Hamel Husain
Hamel Husain опубликовал evals-skills — набор навыков (skills) для AI-агентов кодирования, помогающих проводить продуктовые эвалюации. Навыки основаны на типичных ошибках, выявленных при работе с более чем 50 компаниями и 4000 студентами. Автор подчёркивает, что агенты-кодеры уже умеют инструментировать приложения и проводить эксперименты, но им не хватает знаний о том, как правильно оценивать результаты. Навыки дополняют MCP-серверы вендоров оценки: серверы дают доступ к трассировкам и экспериментам, а skills учат агента, что с ними делать. Для новичков предусмотрен аудит eval-audit, который проверяет текущий пайплайн по шести направлениям и выдаёт приоритизированный список проблем. Автор рекомендует использовать эти навыки как отправную точку, а затем создавать собственные, заточенные под конкретный стек и данные.
Today, I’m publishing evals-skills, a set of skills for AI product evals1. They guard against common mistakes I’ve seen helping 50+ companies and teaching 4,000+ students in our course.
Сегодня я публикую evals-skills — набор навыков для продуктовых AI-эвалюаций1. Они защищают от типичных ошибок, которые я наблюдал, помогая более чем 50 компаниям и обучая свыше 4 000 студентов на нашем курсе.
Why Skills for Evals
Зачем навыки для эвалюаций
Coding agents now instrument applications, run experiments, analyze data, and build interfaces. I’ve been pointing them at evals.
Агенты-кодеры теперь инструментируют приложения, проводят эксперименты, анализируют данные и строят интерфейсы. Я стал направлять их на эвалюации.
OpenAI’s Harness Engineering article makes the case well. They built a product entirely with Codex agents — three engineers, five months, ~1 million lines of code — and found that improving the infrastructure around the agent mattered more than improving the model. The agents queried traces to verify their own work. Documentation tells the agent what to do. Telemetry tells it whether it worked. Evals tell it whether the output is good.
В статье OpenAI о Harness Engineering это хорошо обосновано. Они полностью построили продукт с помощью агентов Codex — три инженера, пять месяцев, около миллиона строк кода — и обнаружили, что улучшение инфраструктуры вокруг агента важнее, чем улучшение самой модели. Агенты обращались к трассировкам, чтобы проверять собственную работу. Документация говорит агенту, что делать. Телеметрия — сработало ли. Эвалюации — хорош ли результат.
All major eval vendors now ship an MCP server2. The tedious parts: instrumenting your app, orchestrating experiments and building annotation tools now fall to coding agents.
Все крупные вендоры эвалюаций теперь поставляют MCP-сервер2. Рутинные задачи — инструментирование приложения, оркестрация экспериментов и создание инструментов разметки — теперь ложатся на агентов-кодеров.
But an agent with an eval platform still needs to know what to do with it. Say a support bot tells a customer “your plan includes free returns” when it doesn’t. Another says “I’ve canceled your order” when nobody asked. Both are hallucinations, but one gets a fact wrong and the other makes up a user action. If you lump them together in a generic “hallucination score,” you’ll miss errors.
Но агенту с платформой эвалюаций всё ещё нужно знать, что с ней делать. Допустим, бот поддержки говорит клиенту «ваш тариф включает бесплатный возврат», хотя это не так. Другой бот говорит «я отменил ваш заказ», хотя никто об этом не просил. Оба случая — галлюцинации, но в одном перевран факт, а в другом выдумано действие пользователя. Если свалить их в общий «показатель галлюцинаций», вы упустите ошибки.
These skills fill the gaps. They complement the vendor MCP servers: those give your agent access to traces and experiments, these teach it what to do with them.
Эти навыки заполняют пробелы. Они дополняют MCP-серверы вендоров: серверы дают агенту доступ к трассировкам и экспериментам, а навыки учат его, что с ними делать.
The Skills
Навыки
If you’re new to evals or inheriting an existing eval pipeline, start with eval-audit. It inspects your current setup (or lack of one), runs diagnostic checks across six areas, and produces a prioritized list of problems with next steps. Install the skills or give your agent this prompt:
Если вы новичок в эвалюациях или унаследовали существующий пайплайн, начните с eval-audit. Он проверяет вашу текущую настройку (или её отсутствие), проводит диагностику по шести направлениям и выдаёт приоритизированный список проблем с рекомендациями по дальнейшим шагам. Установите навыки или дайте агенту такой промпт:
Install the eval skills plugin from https://github.com/hamelsmu/evals-skills, then run /evals-skills:eval-audit on my eval pipeline. Investigate each diagnostic area using a separate subagent in parallel, then synthesize the findings into a single report. Use other skills in the plugin as recommended by the audit.
Установите плагин eval skills из https://github.com/hamelsmu/evals-skills, затем запустите /evals-skills:eval-audit на моём пайплайне эвалюаций. Исследуйте каждую диагностическую область с помощью отдельного субагента параллельно, затем объедините результаты в единый отчёт. Используйте другие навыки из плагина, рекомендованные аудитом.
If you’re experienced with evals, you can skip the audit and pick the skill you need:
Если у вас уже есть опыт в эвалюациях, можете пропустить аудит и выбрать нужный навык:
These skills are a starting point and only encode common mistakes that generalize across projects. Skills grounded in your stack, your domain, and your data will outperform them. Start here, then write your own.
Эти навыки — отправная точка, они кодируют лишь типичные ошибки, общие для разных проектов. Навыки, привязанные к вашему стеку, домену и данным, будут работать лучше. Начните с этих, а затем пишите свои.
👉 The repo is here: github.com/hamelsmu/evals-skills 👈
👉 Репозиторий здесь: github.com/hamelsmu/evals-skills 👈
If these skills help you, I’d love to hear from you! You can find me on X or email me through my newsletter.
Если эти навыки вам пригодились, буду рад обратной связи! Меня можно найти в X или написать через мою рассылку.
Footnotes
Примечания
Not foundation model benchmarks like MMLU or HELM that measure general LLM capabilities. Product evals measure whether your pipeline works on your task with your data. If you aren’t familiar with product-specific AI evals, check out my AI Evals FAQ.↩︎
Braintrust, LangSmith, Phoenix, Truesight, and others.↩︎
Речь не о бенчмарках фундаментальных моделей вроде MMLU или HELM, измеряющих общие возможности LLM. Продуктовые эвалюации проверяют, работает ли ваш пайплайн на вашей задаче с вашими данными. Если вы незнакомы с продуктовыми AI-эвалюациями, загляните в мой AI Evals FAQ.↩︎ Braintrust, LangSmith, Phoenix, Truesight и другие.↩︎