Selecting The Right AI Evals Tool
Hamel Husain рассказывает, как выбрать инструмент для AI-оценок (evals), и объясняет, почему ни один из них не является лучшим во всех отношениях — выбор зависит от навыков команды, технического стека и зрелости процессов. В рамках курса по AI Evals три ведущих вендора — Langsmith, Braintrust и Arize Phoenix — выполнили одно и то же задание, а панель экспертов по data science оценила их подходы в прямом эфире. Ключевые критерии оценки: удобство рабочего процесса и опыт разработчика, поддержка человека в контуре (human-in-the-loop), прозрачность и контроль вместо «магической» автоматизации, а также интеграция с существующей экосистемой. Langsmith отличился плавным переходом от трассировки к playground и удобством для новичков, Braintrust — чистым UI и сильной поддержкой аннотирования, а Phoenix — открытым исходным кодом и notebook-ориентированным подходом. Автор лично предпочитает использовать эти инструменты как бэкенд-хранилище, работая в Jupyter-ноутбуках и собственных интерфейсах аннотирования.
За последний год я глубоко сосредоточился на AI-оценках (AI Evals) — как в консалтинговой работе, так и в преподавании. Вопрос, который мне задают постоянно: «Какой инструмент для оценок лучший?». Я всегда избегал прямого ответа по двум причинам. Во-первых, люди слишком зацикливаются на инструментах вместо процесса, полагая, что инструмент будет готовым решением «из коробки», хотя это редко так. Во-вторых, инструменты меняются настолько быстро, что любые сравнения устаревают мгновенно.
Поработав со многими популярными инструментами для оценок, я могу искренне сказать, что ни один из них не превосходит остальные по всем параметрам. «Лучший» инструмент зависит от навыков вашей команды, технического стека и зрелости процессов.
Вместо сравнения функция за функцией, я считаю более ценным показать вам, как панель data-сайентистов, владеющих навыками оценки, анализирует эти инструменты. В рамках моего курса по AI Evals мы попросили трёх ведущих вендоров — Langsmith, Braintrust и Arize Phoenix — выполнить одно и то же домашнее задание. Это дало нам уникальную возможность увидеть, как они решают одну и ту же задачу.
Мы записали весь процесс и живые комментарии — запись доступна ниже. Мы думаем, что это может быть полезно для понимания того, на что стоит обращать внимание при выборе инструмента для вашей команды.
Спасибо Shreya Shankar и Bryan Bischof за участие в качестве экспертов панели (наряду со мной).
Langsmith
С Harrison Chase, CEO компании LangChain.
Braintrust
С Wayde Gilliam, бывшим руководителем отдела по работе с разработчиками в Braintrust.
Arize Phoenix
С SallyAnn DeLucia, техническим AI-продуктовым лидером в Arize.
Критерии оценки инструментов для AI Evals
Вот темы, которые постоянно всплывали в ходе нашего обзора.
1. Рабочий процесс и опыт разработчика
Снижение трения важнее любой отдельной функции. Конкретнее — стоит обращать внимание на время, которое проходит от обнаружения ошибки до итерации над решением. Например, мы оценили возможность перейти от просмотра отдельной трассировки к экспериментам с ней же в playground. Для некоторых команд с бэкграундом в data science идеальным является подход, ориентированный на ноутбуки, поскольку он обеспечивает прозрачность и контроль. Это и мой предпочтительный рабочий процесс.
При рассмотрении подхода, ориентированного на ноутбуки, важно обращать внимание на эргономику SDK. Зачастую это сводится к качеству документации и интеграции с существующими инструментами для работы с данными.
2. Поддержка человека в контуре
Лучшие инструменты не пытаются заменить человека автоматизацией — они расширяют его возможности. Поскольку анализ ошибок — это деятельность с самым высоким ROI в AI-инженерии, способность инструмента поддерживать эффективный человеческий обзор имеет первостепенное значение. Отдавайте предпочтение инструментам с первоклассной поддержкой ручной аннотации и анализа ошибок. На момент написания статьи во многих инструментах отсутствует аксиальное кодирование.
3. Прозрачность и контроль vs. «магия»
Относитесь с глубоким скептицизмом к функциям, обещающим полную автоматизацию без человеческой валидации, — они могут создать мощную и опасную иллюзию уверенности. Например, с осторожностью относитесь к функциям, где AI-агент одновременно создаёт рубрику оценки и тут же выставляет оценки результатам. Такое «наложение абстракций» часто скрывает недостатки за высоким баллом. Отдавайте предпочтение инструментам, которые дают вам контроль и видимость.
4. Интеграция с экосистемой vs. закрытые экосистемы
Инструмент оценки должен вписываться в ваш стек, а не вынуждать вас подстраиваться под его стек. Оцените, насколько хорошо инструмент интегрируется с вашими существующими технологиями. Также остерегайтесь проприетарных DSL — они могут создавать дополнительное трение. Наконец, возможность экспорта данных в распространённые форматы для анализа в различных средах — обязательное требование.
Заключение
Правильный выбор инструмента зависит от рабочего процесса вашей команды, навыков и конкретных потребностей. Надеюсь, наблюдение за тем, как наша панель подходила к этой оценке, даст вам лучшую основу для принятия собственного решения.
Что касается меня лично, я обычно использую эти инструменты как бэкенд-хранилище данных, а для большинства задач работаю в Jupyter-ноутбуках и собственных самописных интерфейсах аннотирования.
Отнеситесь к этим заметкам с долей скептицизма. Я рекомендую посмотреть видео выше, чтобы понять, как мы применяли эти критерии и в чём ваше мнение может отличаться в зависимости от ваших потребностей.
Заметки по оценке Langsmith
Общее впечатление Рабочий процесс в целом интуитивен, особенно для тех, кто только начинает знакомиться с формальными процессами оценки. Интерфейс проводит вас через создание датасетов, запуск экспериментов и аннотирование результатов.
Положительные отзывы / Что нам понравилось
Плавный переход от трассировки к Playground: Переход от инспекции трассировки к экспериментам с ней в playground очень гладкий. AI-помощь в улучшении промптов: Функция «Prompt Canvas» — мощный инструмент для промпт-инженерии. Создание и управление датасетами: Можно легко создавать датасеты, загружая файлы, а автоопределение схемы помогает правильно структурировать данные. Эксперименты и оценка: «Annotation Queue» — это специализированный интерфейс для человеческого обзора и разметки трассировок, который эффективнее электронных таблиц.
Критика и области для улучшения
Ограниченное сравнение бок о бок: Интерфейс не позволяет удобно просматривать разные версии промптов и их выходные данные бок о бок. Замечания по UI/UX: Интерфейс может казаться перегруженным — слишком много опций и информации представлено одновременно. Риск чрезмерной автоматизации: Функции вроде генерации примеров с помощью AI, хотя и удобны, могут приводить к однородным данным.
Заметки по оценке Braintrust
Общее впечатление Панель в целом положительно оценила Braintrust, отметив чистый интерфейс и структурированный подход к оценкам. Акцент инструмента на рабочих процессах с участием человека в контуре стал значительным преимуществом.
Положительные отзывы / Что нам понравилось
Акцент на структурированном процессе оценки: Демонстрация подчеркнула основательный, методичный подход, начинающийся с привлечения экспертов предметной области для создания первоначального датасета. Чистый и интуитивный пользовательский интерфейс (UI): Панель сочла интерфейс чистым и более удобным для навигации, чем у других инструментов, с особенно читаемым экраном просмотра трассировок. Сильная поддержка процессов с участием человека в контуре: Платформа имеет выделенные интерфейсы для человеческого обзора и аннотирования, что критически важно для создания высококачественных датасетов и проведения анализа ошибок. «Денежная таблица»: После аннотирования трассировок с указанием типов ошибок итоговое представление датасета становится практически полезным результатом, позволяющим быстро сортировать, фильтровать и количественно оценивать наиболее частые типы ошибок.
Критика и области для улучшения
AI-скорер «Loop»: Наибольшее беспокойство вызвала функция «Loop» — AI-агент, который создаёт рубрику оценки и тут же выставляет оценки результатам, что может создать ложное чувство безопасности. Зависимость от проприетарного языка запросов (BTQL): Панель отнеслась к использованию «BTQL» с умеренным скептицизмом, выразив предпочтение экспорту данных в Jupyter-ноутбук. Неуклюжие процессы работы с данными: Процесс генерации и доработки синтетических данных выглядел неэффективным, требуя скачивания и повторной загрузки данных между шагами.
Заметки по оценке Arize Phoenix
Общее впечатление Панель в целом положительно оценила Phoenix — один из участников назвал его одним из своих «любимых инструментов для оценок с открытым исходным кодом». Инструмент позиционируется как платформа, ориентированная на разработчиков и ноутбуки.
Положительные отзывы / Что нам понравилось
Подход, ориентированный на ноутбуки: Весь процесс оценки управлялся из Jupyter-ноутбука, обеспечивая разработчику прозрачность и контроль. Возможность экспорта аннотированных данных обратно в Pandas DataFrame стала мощной функцией. UI и опыт разработчика: Интерфейс управления промптами был отмечен за ясность и простоту понимания. Тесная интеграция между трассировками и «Playground» также была отмечена как плавный рабочий процесс. Открытый исходный код и подход «сначала локально»: Phoenix можно запускать полностью локально, что обеспечивает ощущение контроля и прозрачности. Как инструмент с открытым исходным кодом, он был отмечен за возможность «допиливания под себя».
Критика и области для улучшения
Читаемость UI: Текст в панелях вывода был трудно читаем во время демонстрации — возможно, из-за отсутствия рендеринга markdown для выходных данных модели. Метрики и визуализация: Инструмент отображает точечную статистику для каждого запуска, но панель сочла это малополезным и выразила желание видеть агрегированные визуализации, такие как гистограммы, для выявления выбросов. Управление промптами и тестирование: Редактор промптов обрабатывает системный промпт как один большой монолитный блок текста. Более предпочтительным для систематического тестирования был бы компонентный подход, при котором отдельные инструкции можно включать и выключать («аблировать»).