Q: Are similarity metrics (BERTScore, ROUGE, etc.) useful for evaluating LLM outputs? – Hamel’s Blog - Hamel Husain
Универсальные метрики вроде BERTScore, ROUGE и косинусного сходства в большинстве AI-приложений бесполезны для оценки выводов LLM. Вместо этого Hamel Husain рекомендует использовать анализ ошибок, чтобы выявить метрики, специфичные для поведения конкретного приложения, и строить бинарные оценки pass/fail (через LLM-as-judge) или проверки на основе кода. На примере CRM-ассистента для недвижимости показано, что общие метрики не уловят таких проблем, как предложение недоступных показов или путаница персон клиентов. При этом метрики сходства сохраняют пользу в задачах поиска и рекомендаций, а значит и для оптимизации и отладки извлечения в RAG. Например, косинусное сходство эмбеддингов измеряет семантическую близость, а средняя попарная схожесть оценивает разнообразие выводов.
Generic metrics like BERTScore, ROUGE, cosine similarity, etc. are not useful for evaluating LLM outputs in most AI applications. Instead, we recommend using error analysis to identify metrics specific to your application’s behavior. We recommend designing binary pass/fail.) evals (using LLM-as-judge) or code-based assertions.
As an example, consider a real estate CRM assistant. Suggesting showings that aren’t available (can be tested with an assertion) or confusing client personas (can be tested with a LLM-as-judge) is problematic . Generic metrics like similarity or verbosity won’t catch this. A relevant quote from the course:
“The abuse of generic metrics is endemic. Many eval vendors promote off the shelf metrics, which ensnare engineers into superfluous tasks.”
Similarity metrics aren’t always useless. They have utility in domains like search and recommendation (and therefore can be useful for optimizing and debugging retrieval for RAG). For example, cosine similarity between embeddings can measure semantic closeness in retrieval systems, and average pairwise similarity can assess output diversity (where lower similarity indicates higher diversity).
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.