Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge
Eugene Yan выступил судьёй на хакатоне Weights & Biases LLM-Judge Hackathon, где более 100 участников и 15 команд за два дня представили проекты: построение и валидация графов знаний из документов, оценка LLM по чертам MBTI и креативности, оптимизация оценочных промптов и оценка многоходовых диалогов. В стартовом докладе он разобрал ключевые вопросы использования LLM-оценщиков: выбор бейзлайна, способы скоринга ответов, метрики для оценки самих оценщиков и дерево решений для выбора метода скоринга и разграничения evaluator vs. guardrail. Победившая команда получила по Meta Ray-Bans на каждого участника. Сам автор тоже хакал над собственным проектом, связанным с LLM-evaluator и UX/UI для разметки и оценки.
Хакатон Weights & Biases LLM-Evaluator — судья хакатона
В эти выходные мне довелось быть судьёй на Weights & Biases LLM-Judge Hackathon. За два дня в нём приняли участие более 100 человек, а на второй день 15 команд показали свои демо. Команды создавали креативные и практичные проекты: построение и валидация графов знаний из документов, оценка LLM по чертам MBTI и креативности, оптимизация оценочных промптов, оценка многоходовых диалогов и многое другое.
Меня пригласили открыть хакатон коротким докладом, и я воспользовался возможностью обсудить:
Что учитывать при использовании LLM-оценщиков: какой у нас бейзлайн? Как LLM-оценщики будут оценивать ответы? По каким метрикам оценивать сами LLM-оценщики? Дерево решений для выбора методов скоринга, метрик и разграничения evaluator против guardrail. Открытые вопросы о производительности, согласованности и интеграции LLM-оценщиков
Меня впечатлили уровень усилий и внимательность, вложенные в демо: некоторые команды хакали до 10 вечера субботы (и их пришлось выпроваживать из здания). Судя по демо, команды успели сделать ОЧЕНЬ много за полтора дня. Победившая команда получила по Meta Ray-Bans для каждого участника.
поздравляю победителей! pic.twitter.com/BYfT9prkDK— eugene (@eugeneyalt) 23 сентября 2024
В целом все отлично провели время, хакая и показывая демо. Я и сам хакал над собственным проектом и надеюсь скоро им поделиться. Да, он тоже про LLM-evaluator и сфокусирован на UX/UI с целью сделать разметку и оценку более эффективными и увлекательными.
Если этот материал оказался полезным, пожалуйста, цитируйте его так:
Yan, Ziyou. (Sep 2024). Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge. eugeneyan.com. https://eugeneyan.com/speaking/hackathon-judge/.
или
@article{yan2024judge, title = {Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2024}, month = {Sep}, url = {https://eugeneyan.com/speaking/hackathon-judge/} }
Присоединяйтесь к 11 800+ читателей, получающих обновления о machine learning, RecSys, LLM и инженерии.