Tame Complexity By Scoping LLM Evals – Hamel’s Blog - Hamel Husain
Заметки с открытых офисных часов Hamel Husain по LLM Evals: разбор реального кейса с Maggie из стартапа Sunday, предлагающего персонализированные подписки на уход за газоном. Команда построила чат-бота широкого охвата и уже добилась прогресса — Python Shiny-приложение для ручной оценки, система LLM-as-judge, 80% согласованности между человеком и LLM, классификация диалогов примерно по 40 темам. Главная проблема — непостоянство оценок («один из пяти неверен») и широкая зона охвата. Ключевая идея: вместо попытки идеально оценивать все 40 тем сосредоточиться на 5-6 темах, которые дают большинство диалогов, сегментировать оценку по типам тем, использовать синтетические данные для сезонных вариаций и стратегически семплировать области с низкой согласованностью судьи. Вывод: начинать узко и расширяться, не рассчитывать на полную автоматизацию (ручной просмотр всегда нужен, при этом 8-10% обратной связи от пользователей помогает), и реалистично относиться к метрикам — 80% согласованности может быть лучше, чем кажется.
Это заметки с моих открытых офисных часов по LLM Evals, где я разбираю реальные проблемы компаний с их evals. Каждая сессия длится 20 минут.
Я пообщался с Maggie из Sunday — стартапа в сфере ухода за газоном и садом, который предлагает персонализированные подписки на уход за газоном. Они построили чат-бота, который помогает клиентам со всем — от рекомендаций по продуктам до вопросов о подписке. Их опыт высветил распространённую проблему: как эффективно оценивать LLM-приложение с широким охватом?
Смотрите обсуждение
Для тех, кому интересен полный контекст, вот наш полный 20-минутный разговор:
Проблема: широкая зона охвата
Команда уже добилась значительного прогресса в своём подходе к оценке:
Построили Python Shiny-приложение для ручной оценки Внедрили систему LLM-as-judge Достигли 80% согласованности между суждениями человека и LLM Классифицировали диалоги примерно по 40 различным темам Создали детальные критические разборы для разных типов ответов
Однако они сталкивались с непостоянством своих оценок. «Один из пяти неверен», — отметила Maggie. «…Меня беспокоит просто запускать это в автоматическом режиме».
Распределение тем и сезонные паттерны
Более глубокий взгляд на их паттерны использования выявил несколько важных инсайтов:
5-6 тем формировали большинство диалогов в любой конкретный сезон Темы менялись по сезонам (например, осенью вопросы про заморозки, а весной — про сроки) Хотя конкретные заботы менялись с сезонами, базовые темы оставались схожими Примеры топовых тем для осени: Сроки посева Даты продления Планы на следующий год Вопросы о подписке Борьба с сорняками
Вместо того чтобы пытаться довести до совершенства оценку по всем 40 темам, мы обсудили несколько подходов:
1. Сосредоточьтесь на высоконагруженных темах
Вместо того чтобы пытаться преуспеть во всём, сосредоточьте усилия по оценке на 5-6 темах, которые формируют большинство диалогов. Это не значит отказаться от остальных тем, а скорее признать, что некоторые области будут отшлифованы лучше других.
2. Сегментируйте оценку по типу темы
Некоторые темы показывали лучшую согласованность между суждениями человека и LLM, чем другие. Например, проверочные вопросы работали хорошо, потому что по ним была чёткая информация в базе знаний. Вопросы о доставке были более проблемными из-за сложного форматирования данных.
3. Рассмотрите синтетические данные для сезонных паттернов
Для сезонных вариаций Maggie осознала, что они могут генерировать синтетические данные: «Осенью они будут задавать другие вопросы — про посев, сроки, не поздно ли уже, а как насчёт заморозков? Но они будут спрашивать то же самое… они всё равно будут спрашивать про сроки посева весной. Просто это может быть: не слишком ли рано или не слишком ли жарко?»
Об автоматизации против ручного просмотра
Один из ключевых вопросов касался масштабирования оценок: «Если происходят тысячи диалогов, прочитать их все невозможно… Как обеспечить качество?»
Реальность такова, что полностью автоматизировать и избавиться от необходимости смотреть на данные нельзя. Однако можно действовать стратегически: - Семплируйте плотнее из областей с низкой согласованностью судьи - Используйте специализированные тесты для конкретных режимов сбоев - Опирайтесь на обратную связь пользователей (они видели уровень обратной связи 8-10%) - Сосредоточьте ручной просмотр на самых важных темах
Ключевые выводы
Начинайте узко и расширяйтесь: доведите свой подход до совершенства на нескольких ключевых темах, прежде чем пытаться охватить всё Не ждите идеальной автоматизации: ручной просмотр всегда будет играть какую-то роль Будьте реалистичны в отношении метрик оценки: 80% согласованности может быть лучше, чем звучит Учитывайте свои реальные требования: не каждой теме нужен одинаковый уровень шлифовки
Этот прагматичный подход позволяет командам добиваться реального прогресса, признавая при этом неотъемлемые сложности создания LLM-приложений с широким охватом.