Evals Skills for Coding Agents – Hamel’s Blog - Hamel Husain
Hamel Husain опубликовал evals-skills — набор навыков (skills) для AI-агентов кодирования, помогающих проводить продуктовые эвалюации. Навыки основаны на типичных ошибках, выявленных при работе с более чем 50 компаниями и 4000 студентами. Автор подчёркивает, что агенты-кодеры уже умеют инструментировать приложения и проводить эксперименты, но им не хватает знаний о том, как правильно оценивать результаты. Навыки дополняют MCP-серверы вендоров оценки: серверы дают доступ к трассировкам и экспериментам, а skills учат агента, что с ними делать. Для новичков предусмотрен аудит eval-audit, который проверяет текущий пайплайн по шести направлениям и выдаёт приоритизированный список проблем. Автор рекомендует использовать эти навыки как отправную точку, а затем создавать собственные, заточенные под конкретный стек и данные.
Сегодня я публикую evals-skills — набор навыков для продуктовых AI-эвалюаций1. Они защищают от типичных ошибок, которые я наблюдал, помогая более чем 50 компаниям и обучая свыше 4 000 студентов на нашем курсе.
Зачем навыки для эвалюаций
Агенты-кодеры теперь инструментируют приложения, проводят эксперименты, анализируют данные и строят интерфейсы. Я стал направлять их на эвалюации.
В статье OpenAI о Harness Engineering это хорошо обосновано. Они полностью построили продукт с помощью агентов Codex — три инженера, пять месяцев, около миллиона строк кода — и обнаружили, что улучшение инфраструктуры вокруг агента важнее, чем улучшение самой модели. Агенты обращались к трассировкам, чтобы проверять собственную работу. Документация говорит агенту, что делать. Телеметрия — сработало ли. Эвалюации — хорош ли результат.
Все крупные вендоры эвалюаций теперь поставляют MCP-сервер2. Рутинные задачи — инструментирование приложения, оркестрация экспериментов и создание инструментов разметки — теперь ложатся на агентов-кодеров.
Но агенту с платформой эвалюаций всё ещё нужно знать, что с ней делать. Допустим, бот поддержки говорит клиенту «ваш тариф включает бесплатный возврат», хотя это не так. Другой бот говорит «я отменил ваш заказ», хотя никто об этом не просил. Оба случая — галлюцинации, но в одном перевран факт, а в другом выдумано действие пользователя. Если свалить их в общий «показатель галлюцинаций», вы упустите ошибки.
Эти навыки заполняют пробелы. Они дополняют MCP-серверы вендоров: серверы дают агенту доступ к трассировкам и экспериментам, а навыки учат его, что с ними делать.
Навыки
Если вы новичок в эвалюациях или унаследовали существующий пайплайн, начните с eval-audit. Он проверяет вашу текущую настройку (или её отсутствие), проводит диагностику по шести направлениям и выдаёт приоритизированный список проблем с рекомендациями по дальнейшим шагам. Установите навыки или дайте агенту такой промпт:
Установите плагин eval skills из https://github.com/hamelsmu/evals-skills, затем запустите /evals-skills:eval-audit на моём пайплайне эвалюаций. Исследуйте каждую диагностическую область с помощью отдельного субагента параллельно, затем объедините результаты в единый отчёт. Используйте другие навыки из плагина, рекомендованные аудитом.
Если у вас уже есть опыт в эвалюациях, можете пропустить аудит и выбрать нужный навык:
Эти навыки — отправная точка, они кодируют лишь типичные ошибки, общие для разных проектов. Навыки, привязанные к вашему стеку, домену и данным, будут работать лучше. Начните с этих, а затем пишите свои.
👉 Репозиторий здесь: github.com/hamelsmu/evals-skills 👈
Если эти навыки вам пригодились, буду рад обратной связи! Меня можно найти в X или написать через мою рассылку.
Примечания
Речь не о бенчмарках фундаментальных моделей вроде MMLU или HELM, измеряющих общие возможности LLM. Продуктовые эвалюации проверяют, работает ли ваш пайплайн на вашей задаче с вашими данными. Если вы незнакомы с продуктовыми AI-эвалюациями, загляните в мой AI Evals FAQ.↩︎ Braintrust, LangSmith, Phoenix, Truesight и другие.↩︎