Q: Are similarity metrics (BERTScore, ROUGE, etc.) useful for evaluating LLM outputs? – Hamel’s Blog - Hamel Husain
Универсальные метрики вроде BERTScore, ROUGE и косинусного сходства в большинстве AI-приложений бесполезны для оценки выводов LLM. Вместо этого Hamel Husain рекомендует использовать анализ ошибок, чтобы выявить метрики, специфичные для поведения конкретного приложения, и строить бинарные оценки pass/fail (через LLM-as-judge) или проверки на основе кода. На примере CRM-ассистента для недвижимости показано, что общие метрики не уловят таких проблем, как предложение недоступных показов или путаница персон клиентов. При этом метрики сходства сохраняют пользу в задачах поиска и рекомендаций, а значит и для оптимизации и отладки извлечения в RAG. Например, косинусное сходство эмбеддингов измеряет семантическую близость, а средняя попарная схожесть оценивает разнообразие выводов.
Generic metrics like BERTScore, ROUGE, cosine similarity, etc. are not useful for evaluating LLM outputs in most AI applications. Instead, we recommend using error analysis to identify metrics specific to your application’s behavior. We recommend designing binary pass/fail.) evals (using LLM-as-judge) or code-based assertions.
Универсальные метрики вроде BERTScore, ROUGE, косинусного сходства и т. п. бесполезны для оценки выводов LLM в большинстве AI-приложений. Вместо этого мы рекомендуем использовать анализ ошибок, чтобы выявить метрики, специфичные для поведения вашего приложения. Мы рекомендуем проектировать бинарные pass/fail.) оценки (с использованием LLM-as-judge) или проверки на основе кода.
As an example, consider a real estate CRM assistant. Suggesting showings that aren’t available (can be tested with an assertion) or confusing client personas (can be tested with a LLM-as-judge) is problematic . Generic metrics like similarity or verbosity won’t catch this. A relevant quote from the course:
В качестве примера рассмотрим CRM-ассистента для недвижимости. Предложение показов, которые недоступны (можно проверить с помощью assertion), или путаница персон клиентов (можно проверить с помощью LLM-as-judge) — это проблема. Универсальные метрики вроде сходства или многословности этого не уловят. Подходящая цитата из курса:
“The abuse of generic metrics is endemic. Many eval vendors promote off the shelf metrics, which ensnare engineers into superfluous tasks.”
«Злоупотребление универсальными метриками носит повсеместный характер. Многие поставщики систем оценки продвигают готовые метрики, которые втягивают инженеров в излишние задачи.»
Similarity metrics aren’t always useless. They have utility in domains like search and recommendation (and therefore can be useful for optimizing and debugging retrieval for RAG). For example, cosine similarity between embeddings can measure semantic closeness in retrieval systems, and average pairwise similarity can assess output diversity (where lower similarity indicates higher diversity).
Метрики сходства не всегда бесполезны. Они полезны в таких областях, как поиск и рекомендации (а значит, могут пригодиться для оптимизации и отладки извлечения в RAG). Например, косинусное сходство между эмбеддингами может измерять семантическую близость в системах извлечения, а средняя попарная схожесть может оценивать разнообразие выводов (где меньшее сходство указывает на большее разнообразие).
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.