Selecting The Right AI Evals Tool
Hamel Husain рассказывает, как выбрать инструмент для AI-оценок (evals), и объясняет, почему ни один из них не является лучшим во всех отношениях — выбор зависит от навыков команды, технического стека и зрелости процессов. В рамках курса по AI Evals три ведущих вендора — Langsmith, Braintrust и Arize Phoenix — выполнили одно и то же задание, а панель экспертов по data science оценила их подходы в прямом эфире. Ключевые критерии оценки: удобство рабочего процесса и опыт разработчика, поддержка человека в контуре (human-in-the-loop), прозрачность и контроль вместо «магической» автоматизации, а также интеграция с существующей экосистемой. Langsmith отличился плавным переходом от трассировки к playground и удобством для новичков, Braintrust — чистым UI и сильной поддержкой аннотирования, а Phoenix — открытым исходным кодом и notebook-ориентированным подходом. Автор лично предпочитает использовать эти инструменты как бэкенд-хранилище, работая в Jupyter-ноутбуках и собственных интерфейсах аннотирования.
Over the past year, I’ve focused heavily on AI Evals, both in my consulting work and teaching. A question I get constantly is, “What’s the best tool for evals?”. I’ve always resisted answering directly for two reasons. First, people focus too much on tools instead of the process, thinking the tool will be an off-the-shelf solution when it rarely is. Second, the tools change so quickly that comparisons become outdated immediately.
За последний год я глубоко сосредоточился на AI-оценках (AI Evals) — как в консалтинговой работе, так и в преподавании. Вопрос, который мне задают постоянно: «Какой инструмент для оценок лучший?». Я всегда избегал прямого ответа по двум причинам. Во-первых, люди слишком зацикливаются на инструментах вместо процесса, полагая, что инструмент будет готовым решением «из коробки», хотя это редко так. Во-вторых, инструменты меняются настолько быстро, что любые сравнения устаревают мгновенно.
Having used many of the popular eval tools, I can genuinely say that no single one is superior in every dimension. The “best” tool depends on your team’s skillset, technical stack, and maturity.
Поработав со многими популярными инструментами для оценок, я могу искренне сказать, что ни один из них не превосходит остальные по всем параметрам. «Лучший» инструмент зависит от навыков вашей команды, технического стека и зрелости процессов.
Instead of a feature-by-feature comparison, I think it’s more valuable to show you how a panel of data scientists skilled in evals assesses these tools. As part of my AI Evals course, we had three of the most dominant vendors—Langsmith, Braintrust, and Arize Phoenix complete the same homework assignment. This gave us a unique opportunity to see how they tackle the exact same challenge.
Вместо сравнения функция за функцией, я считаю более ценным показать вам, как панель data-сайентистов, владеющих навыками оценки, анализирует эти инструменты. В рамках моего курса по AI Evals мы попросили трёх ведущих вендоров — Langsmith, Braintrust и Arize Phoenix — выполнить одно и то же домашнее задание. Это дало нам уникальную возможность увидеть, как они решают одну и ту же задачу.
We recorded the entire process and live commentary, which is available below. We think this might be helpful in learning about the kinds of things you should consider when selecting a tool for your team.
Мы записали весь процесс и живые комментарии — запись доступна ниже. Мы думаем, что это может быть полезно для понимания того, на что стоит обращать внимание при выборе инструмента для вашей команды.
Thanks to Shreya Shankar and Bryan Bischof for serving as the panelists (alongside me).
Спасибо Shreya Shankar и Bryan Bischof за участие в качестве экспертов панели (наряду со мной).
Langsmith
Langsmith
With Harrison Chase, CEO of LangChain.
С Harrison Chase, CEO компании LangChain.
Braintrust
Braintrust
With Wayde Gilliam, former developer relations at Braintrust.
С Wayde Gilliam, бывшим руководителем отдела по работе с разработчиками в Braintrust.
Arize Phoenix
Arize Phoenix
With SallyAnn DeLucia, Technical AI Product Leader at Arize.
С SallyAnn DeLucia, техническим AI-продуктовым лидером в Arize.
Criteria for Assessing AI Evals Tools
Критерии оценки инструментов для AI Evals
Here are themes that consistently surfaced during our review.
Вот темы, которые постоянно всплывали в ходе нашего обзора.
1. Workflow and Developer Experience
1. Рабочий процесс и опыт разработчика
Reducing friction is more important than any single feature. Concretely, you should be mindful of the time it takes to go from observing a failure to iterating on a solution. For example, we appreciated the ability to go from viewing a single trace to experimenting with that same trace in a playground. For some teams with data-science backgrounds, a notebook-centric workflow is ideal as it provides transparency and control. This happens to be my preferred workflow as well.
Снижение трения важнее любой отдельной функции. Конкретнее — стоит обращать внимание на время, которое проходит от обнаружения ошибки до итерации над решением. Например, мы оценили возможность перейти от просмотра отдельной трассировки к экспериментам с ней же в playground. Для некоторых команд с бэкграундом в data science идеальным является подход, ориентированный на ноутбуки, поскольку он обеспечивает прозрачность и контроль. Это и мой предпочтительный рабочий процесс.
When considering a notebook-centric workflow, its important to pay attention to the ergonmics of the sdk. This often boils down to the quality of the documentation and integration with existing data tools.
При рассмотрении подхода, ориентированного на ноутбуки, важно обращать внимание на эргономику SDK. Зачастую это сводится к качеству документации и интеграции с существующими инструментами для работы с данными.
2. Human-in-the-Loop Support
2. Поддержка человека в контуре
The best tools don’t try to automate away the human; they empower them. Since error analysis is the highest ROI activity in AI engineering, a tool’s ability to support efficient human review is paramount. Prioritize tools with first-class support for manual annotation and error analysis. As of this writing, one thing that is missing from many tools is axial coding.
Лучшие инструменты не пытаются заменить человека автоматизацией — они расширяют его возможности. Поскольку анализ ошибок — это деятельность с самым высоким ROI в AI-инженерии, способность инструмента поддерживать эффективный человеческий обзор имеет первостепенное значение. Отдавайте предпочтение инструментам с первоклассной поддержкой ручной аннотации и анализа ошибок. На момент написания статьи во многих инструментах отсутствует аксиальное кодирование.
3. Transparency and Control vs. “Magic”
3. Прозрачность и контроль vs. «магия»
Be deeply skeptical of features that promise full automation without human validation, as these can create a powerful and dangerous illusion of confidence. For example, be wary of features where an AI agent both creates an evaluation rubric and then immediately scores the outputs. This “stacking of abstractions” often hides flaws behind a high score. Favor tools that give you control and visibility.
Относитесь с глубоким скептицизмом к функциям, обещающим полную автоматизацию без человеческой валидации, — они могут создать мощную и опасную иллюзию уверенности. Например, с осторожностью относитесь к функциям, где AI-агент одновременно создаёт рубрику оценки и тут же выставляет оценки результатам. Такое «наложение абстракций» часто скрывает недостатки за высоким баллом. Отдавайте предпочтение инструментам, которые дают вам контроль и видимость.
4. Ecosystem Integration vs. Walled Gardens
4. Интеграция с экосистемой vs. закрытые экосистемы
An eval tool should fit your stack, not force you to fit its stack. Assess how well a tool integrates with your existing technologies. Also, beware of proprietary DSLs as they can add friction. Finally, the ability to export data into common formats for analysis in a variety of environments is a must-have.
Инструмент оценки должен вписываться в ваш стек, а не вынуждать вас подстраиваться под его стек. Оцените, насколько хорошо инструмент интегрируется с вашими существующими технологиями. Также остерегайтесь проприетарных DSL — они могут создавать дополнительное трение. Наконец, возможность экспорта данных в распространённые форматы для анализа в различных средах — обязательное требование.
Conclusion
Заключение
The right choice of tool depends on your team’s workflow, skillset, and specific needs. I hope seeing how our panel approached this evaluation provides a better framework for making your own decision.
Правильный выбор инструмента зависит от рабочего процесса вашей команды, навыков и конкретных потребностей. Надеюсь, наблюдение за тем, как наша панель подходила к этой оценке, даст вам лучшую основу для принятия собственного решения.
As for me personally, I tend to use these tools as a backend data store and use Jupyter notebooks as well as my own custom built annotation interfaces for most of my needs.
Что касается меня лично, я обычно использую эти инструменты как бэкенд-хранилище данных, а для большинства задач работаю в Jupyter-ноутбуках и собственных самописных интерфейсах аннотирования.
You should take these notes with a grain of salt. I recommend watch the videos above to get a sense of how we applied these criteria and where you might differ according to your neeeds.
Отнеситесь к этим заметкам с долей скептицизма. Я рекомендую посмотреть видео выше, чтобы понять, как мы применяли эти критерии и в чём ваше мнение может отличаться в зависимости от ваших потребностей.
Langsmith Evaluation Notes
Заметки по оценке Langsmith
Overall Sentiment The overall workflow is intuitive, especially for those new to formal evaluation processes. The UI guides you through creating datasets, running experiments, and annotating results.
Общее впечатление Рабочий процесс в целом интуитивен, особенно для тех, кто только начинает знакомиться с формальными процессами оценки. Интерфейс проводит вас через создание датасетов, запуск экспериментов и аннотирование результатов.
Positive Feedback / What We Liked
Положительные отзывы / Что нам понравилось
Плавный переход от трассировки к Playground: Переход от инспекции трассировки к экспериментам с ней в playground очень гладкий. AI-помощь в улучшении промптов: Функция «Prompt Canvas» — мощный инструмент для промпт-инженерии. Создание и управление датасетами: Можно легко создавать датасеты, загружая файлы, а автоопределение схемы помогает правильно структурировать данные. Эксперименты и оценка: «Annotation Queue» — это специализированный интерфейс для человеческого обзора и разметки трассировок, который эффективнее электронных таблиц.
Critiques and Areas for Improvement
Критика и области для улучшения
Ограниченное сравнение бок о бок: Интерфейс не позволяет удобно просматривать разные версии промптов и их выходные данные бок о бок. Замечания по UI/UX: Интерфейс может казаться перегруженным — слишком много опций и информации представлено одновременно. Риск чрезмерной автоматизации: Функции вроде генерации примеров с помощью AI, хотя и удобны, могут приводить к однородным данным.
Braintrust Evaluation Notes
Заметки по оценке Braintrust
Overall Sentiment The panel had a generally positive view of Braintrust, highlighting its clean UI and structured approach to evaluations. The tool’s emphasis on human-in-the-loop workflows was a significant strength.
Общее впечатление Панель в целом положительно оценила Braintrust, отметив чистый интерфейс и структурированный подход к оценкам. Акцент инструмента на рабочих процессах с участием человека в контуре стал значительным преимуществом.
Positive Feedback / What We Liked
Положительные отзывы / Что нам понравилось
Акцент на структурированном процессе оценки: Демонстрация подчеркнула основательный, методичный подход, начинающийся с привлечения экспертов предметной области для создания первоначального датасета. Чистый и интуитивный пользовательский интерфейс (UI): Панель сочла интерфейс чистым и более удобным для навигации, чем у других инструментов, с особенно читаемым экраном просмотра трассировок. Сильная поддержка процессов с участием человека в контуре: Платформа имеет выделенные интерфейсы для человеческого обзора и аннотирования, что критически важно для создания высококачественных датасетов и проведения анализа ошибок. «Денежная таблица»: После аннотирования трассировок с указанием типов ошибок итоговое представление датасета становится практически полезным результатом, позволяющим быстро сортировать, фильтровать и количественно оценивать наиболее частые типы ошибок.
Critiques and Areas for Improvement
Критика и области для улучшения
AI-скорер «Loop»: Наибольшее беспокойство вызвала функция «Loop» — AI-агент, который создаёт рубрику оценки и тут же выставляет оценки результатам, что может создать ложное чувство безопасности. Зависимость от проприетарного языка запросов (BTQL): Панель отнеслась к использованию «BTQL» с умеренным скептицизмом, выразив предпочтение экспорту данных в Jupyter-ноутбук. Неуклюжие процессы работы с данными: Процесс генерации и доработки синтетических данных выглядел неэффективным, требуя скачивания и повторной загрузки данных между шагами.
Arize Phoenix Evaluation Notes
Заметки по оценке Arize Phoenix
Overall Sentiment The panel had a generally positive view of Phoenix, with one panelist calling it one of his “favorite open source eval tools.” The tool is positioned as a developer-first, notebook-centric platform.
Общее впечатление Панель в целом положительно оценила Phoenix — один из участников назвал его одним из своих «любимых инструментов для оценок с открытым исходным кодом». Инструмент позиционируется как платформа, ориентированная на разработчиков и ноутбуки.
Positive Feedback / What We Liked
Положительные отзывы / Что нам понравилось
Подход, ориентированный на ноутбуки: Весь процесс оценки управлялся из Jupyter-ноутбука, обеспечивая разработчику прозрачность и контроль. Возможность экспорта аннотированных данных обратно в Pandas DataFrame стала мощной функцией. UI и опыт разработчика: Интерфейс управления промптами был отмечен за ясность и простоту понимания. Тесная интеграция между трассировками и «Playground» также была отмечена как плавный рабочий процесс. Открытый исходный код и подход «сначала локально»: Phoenix можно запускать полностью локально, что обеспечивает ощущение контроля и прозрачности. Как инструмент с открытым исходным кодом, он был отмечен за возможность «допиливания под себя».
Critiques and Areas for Improvement
Критика и области для улучшения
Читаемость UI: Текст в панелях вывода был трудно читаем во время демонстрации — возможно, из-за отсутствия рендеринга markdown для выходных данных модели. Метрики и визуализация: Инструмент отображает точечную статистику для каждого запуска, но панель сочла это малополезным и выразила желание видеть агрегированные визуализации, такие как гистограммы, для выявления выбросов. Управление промптами и тестирование: Редактор промптов обрабатывает системный промпт как один большой монолитный блок текста. Более предпочтительным для систематического тестирования был бы компонентный подход, при котором отдельные инструкции можно включать и выключать («аблировать»).