rss_feedEugene Yan ·22.09.2024 open_in_newОригинал

Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge

#Ai Products #LLM Evals

auto_awesomeКраткое саммари

Eugene Yan выступил судьёй на хакатоне Weights & Biases LLM-Judge Hackathon, где более 100 участников и 15 команд за два дня представили проекты: построение и валидация графов знаний из документов, оценка LLM по чертам MBTI и креативности, оптимизация оценочных промптов и оценка многоходовых диалогов. В стартовом докладе он разобрал ключевые вопросы использования LLM-оценщиков: выбор бейзлайна, способы скоринга ответов, метрики для оценки самих оценщиков и дерево решений для выбора метода скоринга и разграничения evaluator vs. guardrail. Победившая команда получила по Meta Ray-Bans на каждого участника. Сам автор тоже хакал над собственным проектом, связанным с LLM-evaluator и UX/UI для разметки и оценки.

translate EN + RU EN RU

eugeneyan

Start Here Writing Speaking Prototyping About

Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge

Хакатон Weights & Biases LLM-Evaluator — судья хакатона

[ llm eval ] · 2 min read

[ llm eval ] · 2 мин чтения

This weekend, I had the opportunity to judge the Weights & Biases LLM-Judge Hackathon. Over two days, more than 100 people took part with 15 teams demoing their work on day two. The teams built creative and practical projects such as constructing and validating knowledge graphs from documents, evaluating LLMs on MBTI traits and creativity, optimizing evaluation prompts, evaluating multi-turn conversations, and more.

В эти выходные мне довелось быть судьёй на Weights & Biases LLM-Judge Hackathon. За два дня в нём приняли участие более 100 человек, а на второй день 15 команд показали свои демо. Команды создавали креативные и практичные проекты: построение и валидация графов знаний из документов, оценка LLM по чертам MBTI и креативности, оптимизация оценочных промптов, оценка многоходовых диалогов и многое другое.

I was invited to kick off the hackathon with a short talk, and took the chance to discuss:

Меня пригласили открыть хакатон коротким докладом, и я воспользовался возможностью обсудить:

Things to consider when using LLMs-evaluators: What is our baseline? How will LLM-evaluators score responses? What metrics to evaluate LLM-evaluators on?

A decision tree to decide on scoring methods, metrics, and evaluator vs. guardrail

Open questions on LLM-evaluator performance, alignment, and integration

Что учитывать при использовании LLM-оценщиков: какой у нас бейзлайн? Как LLM-оценщики будут оценивать ответы? По каким метрикам оценивать сами LLM-оценщики? Дерево решений для выбора методов скоринга, метрик и разграничения evaluator против guardrail. Открытые вопросы о производительности, согласованности и интеграции LLM-оценщиков

I was impressed by the level of effort and care that went into the demos, with some teams hacking all the way till 10pm on Saturday night (and had to get kicked out of the building). From the demos, the teams accomplished A LOT in the span of one and a half days. The top team won Meta Ray-Bans for each member of the team.

Меня впечатлили уровень усилий и внимательность, вложенные в демо: некоторые команды хакали до 10 вечера субботы (и их пришлось выпроваживать из здания). Судя по демо, команды успели сделать ОЧЕНЬ много за полтора дня. Победившая команда получила по Meta Ray-Bans для каждого участника.

congrats to the winners! pic.twitter.com/BYfT9prkDK

— eugene (@eugeneyalt) September 23, 2024

поздравляю победителей! pic.twitter.com/BYfT9prkDK— eugene (@eugeneyalt) 23 сентября 2024

Overall, everyone had a great time hacking and giving demos. I also hacked on something of my own and hope to share it soon. Yes, it’s also LLM-evaluator related, focused on the UX/UI with the goal of making labeling and evaluation more effective and fun.

В целом все отлично провели время, хакая и показывая демо. Я и сам хакал над собственным проектом и надеюсь скоро им поделиться. Да, он тоже про LLM-evaluator и сфокусирован на UX/UI с целью сделать разметку и оценку более эффективными и увлекательными.

If you found this useful, please cite this write-up as:

Если этот материал оказался полезным, пожалуйста, цитируйте его так:

Yan, Ziyou. (Sep 2024). Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge. eugeneyan.com. https://eugeneyan.com/speaking/hackathon-judge/.

или

@article{yan2024judge, title = {Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2024}, month = {Sep}, url = {https://eugeneyan.com/speaking/hackathon-judge/} }

Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.

Присоединяйтесь к 11 800+ читателей, получающих обновления о machine learning, RecSys, LLM и инженерии.