Q: Are similarity metrics (BERTScore, ROUGE, etc.) useful for evaluating LLM outputs? – Hamel’s Blog - Hamel Husain
Универсальные метрики вроде BERTScore, ROUGE и косинусного сходства в большинстве AI-приложений бесполезны для оценки выводов LLM. Вместо этого Hamel Husain рекомендует использовать анализ ошибок, чтобы выявить метрики, специфичные для поведения конкретного приложения, и строить бинарные оценки pass/fail (через LLM-as-judge) или проверки на основе кода. На примере CRM-ассистента для недвижимости показано, что общие метрики не уловят таких проблем, как предложение недоступных показов или путаница персон клиентов. При этом метрики сходства сохраняют пользу в задачах поиска и рекомендаций, а значит и для оптимизации и отладки извлечения в RAG. Например, косинусное сходство эмбеддингов измеряет семантическую близость, а средняя попарная схожесть оценивает разнообразие выводов.
Универсальные метрики вроде BERTScore, ROUGE, косинусного сходства и т. п. бесполезны для оценки выводов LLM в большинстве AI-приложений. Вместо этого мы рекомендуем использовать анализ ошибок, чтобы выявить метрики, специфичные для поведения вашего приложения. Мы рекомендуем проектировать бинарные pass/fail.) оценки (с использованием LLM-as-judge) или проверки на основе кода.
В качестве примера рассмотрим CRM-ассистента для недвижимости. Предложение показов, которые недоступны (можно проверить с помощью assertion), или путаница персон клиентов (можно проверить с помощью LLM-as-judge) — это проблема. Универсальные метрики вроде сходства или многословности этого не уловят. Подходящая цитата из курса:
«Злоупотребление универсальными метриками носит повсеместный характер. Многие поставщики систем оценки продвигают готовые метрики, которые втягивают инженеров в излишние задачи.»
Метрики сходства не всегда бесполезны. Они полезны в таких областях, как поиск и рекомендации (а значит, могут пригодиться для оптимизации и отладки извлечения в RAG). Например, косинусное сходство между эмбеддингами может измерять семантическую близость в системах извлечения, а средняя попарная схожесть может оценивать разнообразие выводов (где меньшее сходство указывает на большее разнообразие).
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.