Evaluating Long-Context Question & Answer Systems

eugeneyan

eugeneyan

Start Here Writing Speaking Prototyping About

Evaluating Long-Context Question & Answer Systems

Оценка Q&A-систем с длинным контекстом

[ llm eval survey ] · 28 min read

[ llm eval survey ] · 28 мин чтения

While evaluating Q&A systems is straightforward with short paragraphs, complexity increases as documents grow larger. For example, technical documentation, novels and movies, as well as multi-document scenarios. Although some of these evaluation challenges also appear in shorter contexts, long-context evaluation amplifies issues such as:

Если оценка Q&A-систем на коротких абзацах относительно проста, то по мере увеличения объёма документов всё усложняется. Например, в случае с технической документацией, романами и фильмами, а также со сценариями с несколькими документами. Хотя некоторые из этих проблем оценки встречаются и в коротких контекстах, длинный контекст усиливает такие сложности, как:

Информационная перегрузка: нерелевантные детали в больших документах маскируют значимые факты, затрудняя ретриверам и моделям поиск нужных доказательств для ответа. Позиционная вариативность: доказательства могут находиться в начале, середине или конце документов, что становится проблемой для моделей с ограниченным эффективным контекстом или подверженных эффекту «lost in the middle». Многошаговые рассуждения (multi-hop reasoning): правильный ответ требует синтеза нескольких разрозненных фрагментов доказательств, разбросанных по тексту(ам), что испытывает способность модели удерживать и интегрировать информацию, расположенную далеко друг от друга. Галлюцинации в масштабе: увеличение контекста повышает риск того, что модели вернут правдоподобные, но неверные ответы из-за плохого ретривера или ограниченного эффективного контекста. Открытые вопросы: запросы по широким темам или интерпретационным вопросам редко имеют единственный однозначный ответ, особенно для больших документов или корпусов.

In this write-up, we’ll explore key evaluation metrics, how to build evaluation datasets, and methods to assess Q&A performance through human annotations and LLM-evaluators. We’ll also review several benchmarks across narrative stories, technical and academic texts, and very long-context, multi-document situations. Finally, we’ll wrap up with advice for evaluating long-context Q&A on our specific use cases.

В этой статье мы рассмотрим ключевые метрики оценки, как строить evaluation-датасеты и методы оценки качества Q&A через человеческие аннотации и LLM-оценщиков. Мы также разберём несколько бенчмарков для нарративных историй, технических и академических текстов, а также для очень длинного контекста и сценариев с несколькими документами. Наконец, мы завершим советами по оценке Q&A на длинном контексте для ваших конкретных юзкейсов.

An overview of what we'll cover in this writeup

Обзор того, что мы охватим в этой статье

By the way, if you want to learn more about evals, my friends Hamel and Shreya are hosting their final cohort of “AI Evals for Engineers and PMs” in July. Here’s a 35% discount code.

Кстати, если вы хотите больше узнать о evals, мои друзья Hamel и Shreya проводят свой последний поток курса «AI Evals for Engineers and PMs» в июле. Вот промокод на скидку 35%.

Key Evaluation Metrics

Ключевые метрики оценки

Evaluating Q&A systems goes beyond just checking for factual accuracy. Specifically, we might want answers to be based solely on the provided text, not the model’s knowledge. But even technically correct answers aren’t necessarily helpful. Thus, to evaluate Q&A systems effectively, we should consider two orthogonal dimensions:

Оценка Q&A-систем выходит за пределы простой проверки фактической точности. В частности, нам может потребоваться, чтобы ответы основывались только на предоставленном тексте, а не на знаниях модели. Но даже технически правильные ответы не обязательно полезны. Поэтому, чтобы эффективно оценивать Q&A-системы, стоит рассматривать два ортогональных измерения:

Faithfulness (верность источнику): насколько строго ответ опирается только на исходный документ. Helpfulness (полезность): насколько ответ релевантен, полон и полезен для пользователя.

Faithfulness measures whether an answer strictly relies only on the source document. This means the model shouldn’t add external information or make things up (aka hallucinate). Faithfulness is especially important for legal agreements, financial contracts, or medical and insurance forms, where answers must be based solely on the given text. Faithfulness is synonymous with groundedness, where answers must be anchored on the original document.

Faithfulness измеряет, опирается ли ответ строго только на исходный документ. Это означает, что модель не должна добавлять внешнюю информацию или выдумывать (так называемые галлюцинации). Faithfulness особенно важна для юридических соглашений, финансовых контрактов или медицинских и страховых форм, где ответы должны основываться исключительно на данном тексте. Faithfulness синонимична groundedness — привязке ответов к оригинальному документу.

Faithfulness also includes the Q&A system knowing when to say, “I don’t know.” If the source document doesn’t contain the answer, the ideal response is something like, “I don’t have that information in the provided text.” Related to this challenge are two errors by Q&A systems:

Faithfulness также включает способность Q&A-системы сказать «я не знаю». Если в исходном документе нет ответа, идеальный отклик звучит примерно так: «У меня нет этой информации в предоставленном тексте». С этой проблемой связаны два типа ошибок Q&A-систем:

False positives: когда система выдумывает ответ, которого нет в исходном документе (галлюцинации). False negatives: когда система ошибочно утверждает, что в исходном документе нет информации, которая на самом деле там есть, — из-за плохого ретривера или ограничений внимания на больших контекстах.

We also want to distinguish faithfulness from correctness. An answer might be correct based on general knowledge but still be unfaithful if it contradicts the document. Examples include patient-specific medical instructions that differ from the usual guidelines, definitions in financial or legal agreements that depart from the standard, and historical fiction with alternate timelines. Users depend on Q&A systems to return responses that are faithful to their specific documents, rather than general truths.

Важно также отличать faithfulness от корректности. Ответ может быть верным с точки зрения общих знаний, но при этом неверным источнику, если он противоречит документу. Примеры: специфические для пациента медицинские инструкции, отличающиеся от обычных рекомендаций; определения в финансовых или юридических соглашениях, отличающиеся от стандартных; историческая фантастика с альтернативными хронологиями. Пользователи полагаются на Q&A-системы, чтобы получить ответы, верные именно их документам, а не общим истинам.

For systems that provide citations, we can also assess citation accuracy. This evaluates if the cited text supports the answer. Benchmarks like QASPER explicitly evaluate whether models reference the right supporting evidence for the answer. This combined assessment—checking both faithfulness and citation accuracy—provides finer-grained metrics on overall faithfulness and evidence retrieval.

Для систем, которые предоставляют цитаты, мы также можем оценивать точность цитирования. Это проверяет, поддерживает ли процитированный текст ответ. Бенчмарки вроде QASPER явно оценивают, ссылаются ли модели на правильные подтверждающие доказательства для ответа. Такая совмещённая оценка — проверка и faithfulness, и точности цитирования — даёт более детальные метрики общей faithfulness и качества извлечения доказательств.

However, a faithful answer isn’t always a helpful answer. This is where we also want to evaluate the helpfulness of responses.

Однако верный источнику ответ не всегда полезен. Здесь и появляется необходимость оценивать helpfulness ответов.

Helpfulness measures whether an answer is relevant, sufficiently detailed, yet concise. Relevance means the answer directly addresses the user’s question without straying off-topic. Comprehensiveness ensures the answer contains the necessary details. Conciseness balances comprehensiveness by ensuring the answer is succinct, without unnecessary details or fluff.

Helpfulness измеряет, является ли ответ релевантным, достаточно подробным, но при этом кратким. Релевантность означает, что ответ напрямую отвечает на вопрос пользователя, не уходя в сторону. Полнота гарантирует, что ответ содержит необходимые детали. Краткость уравновешивает полноту, обеспечивая лаконичность ответа без лишних деталей и «воды».

While a brief, one-sentence response to a complex question might be faithful, it falls short of being helpful if the answer needs more details. Conversely, overly long responses filled with extraneous details can overwhelm users, making it hard for users to find the core answer they need. An ideal response should contain most, if not all, of the relevant information from the source document, in a concise way that meets the user’s needs.

Хотя краткий, в одно предложение, ответ на сложный вопрос может быть верным источнику, он будет недостаточно полезным, если ответу нужны детали. И наоборот, чрезмерно длинные ответы с лишними подробностями могут перегрузить пользователя, затруднив поиск сути. Идеальный ответ должен содержать большую часть, если не всю, релевантной информации из исходного документа в краткой форме, отвечающей нуждам пользователя.

A study by Xu et al. (2023) found that domain experts in fields like biology or economics preferred answers that were both comprehensive and faithful, particularly for long-form questions. In contrast, crowd-workers often emphasized surface aspects such as conciseness or detail. Thus, if we’re building our Q&A system for power users and experts, the system should focus on returning faithful and comprehensive answers.

Исследование Xu et al. (2023) показало, что эксперты в таких областях, как биология или экономика, предпочитают ответы, которые одновременно полны и верны источнику, особенно для длинных вопросов. В противоположность, краудворкеры часто акцентируют внимание на поверхностных аспектах — краткости или детализации. Поэтому, если мы строим Q&A-систему для продвинутых пользователей и экспертов, она должна фокусироваться на возврате верных источнику и полных ответов.

There’s a tension between faithfulness and helpfulness. An answer can be perfectly faithful yet totally unhelpful. For example, if we ask about a legal contract: “What happens if the tenant misses a payment?” A faithful yet unhelpful answer could be, “Clause 4.2 of the lease agreement addresses missed payments.” Although technically accurate, it’s not helpful as it doesn’t tell us what actually happens if a payment is missed. The same goes for Q&A systems that simply copy-paste large sections from documents. A useful system should synthesize the information and return a direct answer that meaningfully addresses the user’s question.

Между faithfulness и helpfulness есть напряжение. Ответ может быть идеально верным источнику и при этом совершенно бесполезным. Например, если мы спрашиваем о юридическом контракте: «Что произойдёт, если арендатор пропустит платёж?» — верный, но бесполезный ответ может звучать так: «Пункт 4.2 договора аренды касается пропущенных платежей». Хотя технически это точно, это не полезно, поскольку не сообщает, что именно происходит при пропуске платежа. То же относится к Q&A-системам, которые просто копируют большие куски документа. Полезная система должна синтезировать информацию и выдавать прямой ответ, содержательно отвечающий на вопрос пользователя.

All in all, the best answers achieve both faithfulness and helpfulness by:

В целом, лучшие ответы достигают и faithfulness, и helpfulness за счёт того, что они:

Остаются привязанными к исходному тексту (faithful) Напрямую отвечают на вопрос пользователя (релевантность) Предоставляют достаточные детали и контекст (полнота) Излагают информацию ясно и сжато (краткость)

Building an Evaluation Dataset

Построение evaluation-датасета

Evaluating long-context Q&A begins with creating a robust evaluation dataset. This involves testing how well a Q&A system can navigate book-length documents to answer questions.

Оценка Q&A на длинном контексте начинается с создания надёжного evaluation-датасета. Это означает проверку того, насколько хорошо Q&A-система ориентируется в документах размером с книгу, чтобы отвечать на вопросы.

First, we’ll start with creating a variety of realistic, context-specific questions. While human annotators excel at crafting great questions, this is time-consuming and impractical at scale, especially for lengthy documents. A more efficient approach is to use language models to draft questions that annotators can then accept or edit—this augments human judgment with machine speed and scale.

Для начала создадим разнообразные, реалистичные, контекстно-специфичные вопросы. Хотя люди-аннотаторы прекрасно справляются с составлением хороших вопросов, это трудоёмко и непрактично в масштабе, особенно для длинных документов. Более эффективный подход — использовать языковые модели для черновика вопросов, которые затем аннотаторы принимают или редактируют; так мы дополняем человеческое суждение скоростью и масштабом машины.

However, just scaling with a language model isn’t enough. We also need to guide the model toward generating natural, useful questions. Thus, instead of vague prompts like “Generate questions about this chapter,” we can be more specific, such as: “Summarize the main characters in this chapter. Then, generate one question about each character’s backstory based on what we’ve read so far.” More precise prompting helps steer models toward producing useful questions for our evaluation dataset.

Однако одной только масштабируемости языковой моделью недостаточно. Нужно ещё направлять модель к генерации естественных, полезных вопросов. Поэтому вместо размытых промптов вроде «Сгенерируй вопросы по этой главе» можно быть конкретнее, например: «Опиши главных персонажей этой главы. Затем сгенерируй один вопрос о предыстории каждого персонажа на основе того, что мы прочитали к этому моменту». Более точные промпты помогают направлять модели к производству полезных вопросов для нашего evaluation-датасета.

This approach builds on the methodology of existing benchmarks. NarrativeQA intentionally generates questions based on summaries rather than full texts. This encourages questions that test narrative comprehension rather than shallow fact recall. For the same reason, QASPER creates questions based on abstracts from academic papers that models then answer based on the full paper. By learning from these benchmarks, we can construct evaluation datasets that effectively measure meaningful comprehension of long-context documents.

Этот подход опирается на методологию существующих бенчмарков. NarrativeQA намеренно генерирует вопросы на основе аннотаций, а не полных текстов. Это поощряет вопросы, проверяющие понимание нарратива, а не поверхностное запоминание фактов. По той же причине QASPER создаёт вопросы по аннотациям академических статей, на которые модели затем отвечают, опираясь на полную статью. Учась у этих бенчмарков, мы можем строить evaluation-датасеты, эффективно измеряющие осмысленное понимание длинных документов.

We’ll want to ensure question diversity when creating questions. Having a range of question types helps us evaluate the Q&A system’s capabilities without overfitting to any single type of question. Depending on our use case, an evaluation dataset could include a mix of:

При создании вопросов важно обеспечить их разнообразие. Наличие разных типов вопросов помогает оценивать возможности Q&A-системы без переобучения на какой-то один тип вопросов. В зависимости от вашего юзкейса evaluation-датасет может включать смесь:

Воспроизведение фактов: такие вопросы оценивают базовое извлечение фактов, например: «Кто главный герой?», «Когда был подписан договор?» или «Какой юридический пункт упоминается в разделе 2.1?». Хотя простые, они подтверждают, что Q&A-система может надёжно извлекать информацию. Определения: такие вопросы оценивают способность модели объяснять доменно-специфический контент на основе документа. Примеры: «Что означает эта аббревиатура в статье?», «Объясни магическую систему, представленную в главе 7» или «Дайте определение экономической теории, обсуждаемой на странице 203». Это важно для технических документов, чтобы убедиться, что система справляется со специализированной терминологией в контексте. Summarization (краткое изложение): такие вопросы измеряют, может ли система выделить ключевые идеи и связно их изложить. Например: «Кратко изложите основные результаты статьи», «Перескажите, что произошло в книге до сих пор» или «Каковы ключевые темы части 2?». Логический вывод и рассуждение: такие вопросы оценивают способность рассуждать за пределами явно изложенных фактов, интегрируя информацию из разных частей документа в связный ответ. Например: «Почему персонаж сделал этот выбор?» или «Что мы можем сделать вывод об обществе из этих законов?». «No-Info» (нет информации): в отличие от предыдущих категорий, на такие вопросы нельзя ответить по документу. Например: «Что Гэндальф делал в финальной битве в Хогвартсе?» или «Какое наказание за нарушение товарного знака в этом договоре аренды жилья?». Верная источнику Q&A-система должна распознать отсутствие требуемой информации и ответить соответствующим образом, а не выдумывать ответ.

Our Q&A evals should also be robust to the position of evidence within the document. We ensure this by having questions with evidence that appear at the beginning, middle, or end, as well as creating multi-hop questions that require details from several sections or documents. Benchmarks like HELMET evaluate how model accuracy changes based on the location of supporting information, evaluating the model’s ability to pay attention to and combine information from the entire document instead of relying solely on nearby context.

Наши Q&A-evals должны быть устойчивы к положению доказательств в документе. Это обеспечивается вопросами с доказательствами, расположенными в начале, середине или конце, а также созданием multi-hop-вопросов, требующих сведений из нескольких разделов или документов. Бенчмарки вроде HELMET оценивают, как точность модели меняется в зависимости от расположения подтверждающей информации, проверяя способность модели обращать внимание и комбинировать информацию из всего документа, а не полагаться только на ближайший контекст.

Methods to Assess Q&A Performance

Методы оценки качества Q&A

Human annotators are crucial for building a high-quality, ground-truth dataset. This is useful for calibrating automated evaluators, and with enough annotated examples, we can also train evaluation classifiers or reward models. Here’s how this might look for the metrics of faithfulness and helpfulness:

Люди-аннотаторы критичны для построения качественного ground-truth-датасета. Это полезно для калибровки автоматических оценщиков, а при достаточном количестве размеченных примеров мы также можем обучить evaluation-классификаторы или reward-модели. Вот как это может выглядеть для метрик faithfulness и helpfulness:

Faithfulness annotation involves evaluating whether an answer accurately reflects the source text. Ideally, we’d like simple binary labels—faithful or unfaithful—but reality is rarely that straightforward. Answers typically exist on a spectrum. As a result, a mostly correct answer that misses a critical detail should be graded differently from one that incorrectly represents minor or peripheral information.

Разметка faithfulness предполагает оценку того, точно ли ответ отражает исходный текст. Идеально хотелось бы иметь простые бинарные метки — faithful или unfaithful, — но реальность редко так проста. Ответы обычно лежат в спектре. В результате почти правильный ответ, упускающий критическую деталь, должен оцениваться иначе, чем тот, в котором неверно представлена второстепенная информация.

Related to faithfulness is the “no-info” annotation. This checks whether the model correctly identifies when the provided context doesn’t contain the information to answer the question. The goal here is to identify hallucinations, where the model invents answers instead of acknowledging the gap. As part of this exercise, we could have the following labels:

С faithfulness связана разметка «no-info». Она проверяет, корректно ли модель распознаёт случаи, когда предоставленный контекст не содержит информации для ответа. Цель — выявить галлюцинации, когда модель придумывает ответы вместо признания пробела. В рамках этого упражнения можно использовать следующие метки:

Неверный ответ / галлюцинация: модель пытается ответить, несмотря на отсутствие информации, даже если ответ звучит правдоподобно. Ошибочный отказ: модель ошибочно утверждает, что информации нет, — возможно, из-за ошибок ретривера или недостаточного внимания к длинному контексту. Корректный отказ: модель верно распознаёт отсутствие необходимых деталей и обоснованно отказывается отвечать.

Helpfulness comparisons involve annotators judging which of two faithful answers better meets the user’s needs. Rather than asking for absolute ratings, annotators make relative judgments, answering a straightforward question: “Which answer is more helpful?” People find comparing two answers easier than assigning absolute ratings, resulting in greater consistency across annotators. When comparing helpfulness, annotators should consider:

Сравнения helpfulness предполагают, что аннотаторы решают, какой из двух faithful-ответов лучше отвечает нуждам пользователя. Вместо абсолютных оценок аннотаторы делают относительные суждения, отвечая на простой вопрос: «Какой ответ полезнее?». Людям проще сравнивать два ответа, чем выставлять абсолютные баллы, что даёт большую согласованность между аннотаторами. При сравнении helpfulness аннотаторы должны учитывать:

Релевантность: один из ответов отвечает на вопрос более прямо и точно? Полнота: один из ответов включает ключевую информацию, которую упускает другой? Краткость: один из ответов лаконичнее и проще для понимания?

Here are some practical tips for setting up a reliable annotation process:

Вот несколько практических советов по настройке надёжного процесса разметки:

Начните с чётких гайдлайнов: включайте примеры для каждой категории и поясняйте, как обращаться с пограничными случаями. И будьте лаконичны — так гайд легче прочитать целиком. Итерируйте гайдлайны: первый драфт не будет идеальным. Собирайте обратную связь аннотаторов о неясных или сложных случаях, чтобы улучшать гайдлайны. Используйте квалификационные задания: прежде чем выдавать реальные задачи, дайте аннотаторам тренировочные примеры с известными правильными ответами. Это гарантирует, что они понимают гайдлайны и применяют их единообразно. Измеряйте межаннотаторское согласие: проверяйте согласованность аннотаторов с помощью метрик вроде Cohen's Kappa. Низкое согласие может указывать на нечёткие гайдлайны или неоднозначные сценарии, требующие уточнения. Рассмотрите экспертов-аннотаторов для специализированных доменов: общие задачи разметки обычно по силам краудворкерам, но домены вроде медицины или права часто требуют профильных экспертов для точных и осмысленных оценок.

That said, while human annotation is traditionally considered the gold standard, it’s not always practical or scalable, especially for large documents. This is where LLM-evaluators (also called “LLM-as-Judge”) can help. Via this approach, we provide clear criteria—or our annotation guidelines—to a model, and have it evaluate the quality of Q&A responses.

При этом, хотя человеческая разметка традиционно считается золотым стандартом, она не всегда практична или масштабируема, особенно для больших документов. Здесь могут помочь LLM-оценщики (также называемые «LLM-as-Judge»). При этом подходе мы передаём модели чёткие критерии — или наши гайдлайны разметки — и просим её оценить качество ответов Q&A.

But first, it’s important to recognize why older automated metrics fall short. Historically, the language modeling community relied on n-gram-based metrics like BLEU and ROUGE, which measure word overlap between generated responses and reference answers. Although these metrics work somewhat for tasks like machine translation, they correlate poorly with human judgment on open-ended tasks such as Q&A.

Но сначала важно понять, почему старые автоматические метрики не подходят. Исторически сообщество языкового моделирования полагалось на n-граммные метрики вроде BLEU и ROUGE, измеряющие пересечение слов между сгенерированными ответами и эталонами. Хотя эти метрики кое-как работают для задач вроде машинного перевода, они плохо коррелируют с человеческой оценкой на открытых задачах вроде Q&A.

For example, the L-Eval benchmark highlighted the poor correlation between token-overlap metrics and human judgment for Q&A responses. A correct answer using words that differ from the reference answer can get unfairly penalized by a low ROUGE score, leading to a misleading negative signal. This is especially noticeable when model responses and reference answers vary in length. Without length normalization, token-overlap metrics can mistakenly reward verbose yet mediocre answers over concise, accurate ones.

Например, бенчмарк L-Eval подчеркнул слабую корреляцию между метриками пересечения токенов и человеческой оценкой Q&A-ответов. Корректный ответ, использующий слова, отличные от эталона, может несправедливо получить низкий ROUGE-балл, что даст ложный негативный сигнал. Это особенно заметно, когда ответы модели и эталонные ответы различаются по длине. Без нормализации по длине метрики пересечения токенов могут ошибочно вознаграждать многословные посредственные ответы в ущерб кратким и точным.

This is why model-based evaluation is increasingly popular—it offers more reliable and nuanced evals than traditional metrics. We typically start by calibrating an LLM-evaluator against a high-quality, human-annotated dataset. With ground truth, we can evaluate our LLM-evaluator by measuring its recall and precision on faithfulness annotations, and its correlation with human judgments on the helpfulness comparisons.

Именно поэтому оценка на основе моделей становится всё популярнее — она даёт более надёжные и тонкие evals, чем традиционные метрики. Обычно мы начинаем с калибровки LLM-оценщика на качественном размеченном людьми датасете. Имея ground truth, мы можем оценить нашего LLM-оценщика, измерив его recall и precision по разметке faithfulness, а также его корреляцию с человеческой оценкой при сравнениях helpfulness.

To evaluate faithfulness, we can treat answers as collections of individual claims, each of which can be verified as true or false. This is similar to approaches used in NLI-based and Q&A-based summarization metrics, and claim generation and verification. Breaking answers down into atomic claims helps us pinpoint where hallucinations occur. Here’s how it works:

Для оценки faithfulness можно рассматривать ответы как наборы отдельных claims (утверждений), каждое из которых можно проверить как истинное или ложное. Это похоже на подходы, используемые в NLI-based и Q&A-based метриках суммаризации и в генерации и верификации claims. Разложение ответов на атомарные claims помогает выявить, где именно происходят галлюцинации. Вот как это работает:

Извлеките claims: рассмотрим ответ о споре по контракту: «Арендатор нарушил договор аренды, потому что пропустил три платежа, не поддерживал страховое покрытие и сдал квартиру в субаренду без разрешения». Это можно разложить на: Claim 1: Арендатор пропустил три платежа. Claim 2: Арендатор не поддерживал требуемое страховое покрытие. Claim 3: Арендатор сдал квартиру в субаренду без разрешения. Проверьте каждый claim: сверьте каждое утверждение с исходным документом (в данном случае — договором аренды), чтобы подтвердить его точность. Рассчитайте faithfulness: доля claims, подтверждённых документом, даёт общий балл faithfulness.

This fine-grained approach, as demonstrated by evaluations like SummaC, QAFactEval, and RefChecker, offers more interpretability and nuance. Rather than labeling an entire answer as faithful or not, we gain a nuanced understanding of which claims are incorrect. This also allows assigning partial credit to mostly faithful answers with minor inaccuracies.

Этот детальный подход, продемонстрированный такими evaluation-методами, как SummaC, QAFactEval и RefChecker, даёт больше интерпретируемости и нюансов. Вместо того чтобы помечать весь ответ как faithful или нет, мы получаем нюансированное понимание, какие именно claims неверны. Это также позволяет давать частичный балл преимущественно верным ответам с незначительными неточностями.

We can also go a step further by requiring the model to provide citations for each claim. This helps distinguish between two different failure modes: hallucinations (making up answers) and retrieval failures (not retrieving relevant information).

Можно пойти дальше и потребовать от модели предоставлять цитаты для каждого claim. Это помогает различить два типа сбоев: галлюцинации (выдумывание ответов) и сбои ретривера (неизвлечение релевантной информации).

To evaluate our evaluator, we can compare its judgments to human annotations on two key metrics: (i) recall (of all unfaithful claims, how many does the evaluator correctly flag?) and (ii) precision (of all claims the evaluator flags as unfaithful, how many are truly unfaithful?)

Чтобы оценить нашего оценщика, мы можем сравнить его суждения с человеческой разметкой по двум ключевым метрикам: (i) recall (из всех unfaithful claims сколько оценщик корректно отметил?) и (ii) precision (из всех claims, отмеченных оценщиком как unfaithful, сколько действительно являются таковыми?).

Evaluating helpfulness requires a more nuanced approach because often, there isn’t a definitively “helpful” way to answer. Different situations might call for varying levels of detail or explanation styles. Here are several strategies we can consider:

Оценка helpfulness требует более тонкого подхода, потому что часто нет однозначно «полезного» способа ответить. Разные ситуации могут требовать разной степени детализации или стилей изложения. Вот несколько стратегий, которые можно рассмотреть:

Сравнение с эталоном работает хорошо, когда у нас есть качественные эталонные ответы. LLM-оценщик сравнивает сгенерированные ответы с этими эталонами, оценивая релевантность, детальность и ясность. Однако по мере улучшения моделей их ответы могут превосходить существующие эталоны, делая этот метод со временем менее эффективным. Оценка по критериям оценивает ответы по чётко определённой рубрике. Этот подход позволяет напрямую переиспользовать наши гайдлайны разметки, фокусируясь на таких критериях, как релевантность, полнота и краткость. Попарные сравнения особенно полезны при итеративном улучшении Q&A-систем. Сравнивая вновь сгенерированные ответы с ранее валидированными, мы последовательно поднимаем планку качества. Этот метод также идеален для A/B-тестирования различных конфигураций Q&A-системы.

To calibrate an LLM-evaluator on helpfulness, pairwise comparisons are especially reliable. By presenting pairs of answers to annotators and LLM-evaluators, we can measure their alignment—how often they agree on the more helpful answer. Correlation metrics, such as Cohen’s Kappa, quantify this alignment effectively. For example, L-Eval found that GPT-4’s pairwise comparisons correlated strongly with human preferences once properly calibrated.

Для калибровки LLM-оценщика на helpfulness попарные сравнения особенно надёжны. Предъявляя пары ответов аннотаторам и LLM-оценщикам, мы можем измерить их согласованность — как часто они сходятся в выборе более полезного ответа. Корреляционные метрики, например Cohen's Kappa, эффективно количественно оценивают это согласие. Например, L-Eval обнаружил, что попарные сравнения GPT-4 сильно коррелируют с человеческими предпочтениями после надлежащей калибровки.

What We Can Learn from Existing Benchmarks

Что мы можем почерпнуть из существующих бенчмарков

To ground our discussion so far, let’s look at some benchmarks for long-context Q&A. Besides providing a common standard, these benchmarks highlight challenges we might encounter in dataset creation and evaluation. Since these datasets are likely already part of model training data, we shouldn’t rely solely on them to evaluate our Q&A system. Instead, we’ll want to create evaluation datasets tailored to our use case.

Чтобы заземлить наше обсуждение, посмотрим на несколько бенчмарков для Q&A на длинном контексте. Помимо общего стандарта, эти бенчмарки подсвечивают сложности, с которыми мы можем столкнуться при создании датасета и оценке. Поскольку эти датасеты, вероятно, уже входят в обучающие данные моделей, не стоит полагаться только на них для оценки нашей Q&A-системы. Вместо этого нужно создавать evaluation-датасеты, заточенные под наш юзкейс.

We’ll cover six benchmarks spanning (i) narrative documents, (ii) technical and academic documents, and (iii) very long or multi-document contexts.

Мы рассмотрим шесть бенчмарков, охватывающих (i) нарративные документы, (ii) технические и академические документы и (iii) очень длинные или многодокументные контексты.

The NarrativeQA dataset, introduced by Kočiský et al. in 2017, is designed to test genuine narrative comprehension rather than surface-level pattern matching. Unlike earlier datasets that allowed models to answer by extracting single sentences, NarrativeQA requires synthesizing information scattered across novels and movie scripts to generate answers.

Датасет NarrativeQA, представленный Kočiský et al. в 2017, разработан для проверки настоящего понимания нарратива, а не поверхностного сопоставления паттернов. В отличие от более ранних датасетов, позволявших моделям отвечать, извлекая отдельные предложения, NarrativeQA требует синтеза информации, разбросанной по романам и сценариям фильмов, для генерации ответов.

First, the authors collected over 1,500 stories from Project Gutenberg and movie script websites, along with their corresponding plot summaries from Wikipedia. Annotators then generated question-answer pairs based only on these summaries, without viewing the full texts. (Conversely, models answered questions based on the full text but not the summaries.) This deliberate approach ensured that answers couldn’t be found by simple text matching, focusing the evaluation on understanding the entire text. The resulting dataset contains 46,765 question-answer pairs focused on narrative comprehension.

Сначала авторы собрали более 1500 историй из Project Gutenberg и сайтов сценариев фильмов вместе с соответствующими краткими содержаниями сюжетов из Wikipedia. Затем аннотаторы генерировали пары вопрос-ответ, основываясь только на этих кратких содержаниях, не видя полных текстов. (И наоборот, модели отвечали на вопросы, основываясь на полном тексте, но не на кратких содержаниях.) Этот намеренный подход обеспечил то, что ответы нельзя найти простым сопоставлением текста, сосредоточив оценку на понимании всего текста. Получившийся датасет содержит 46 765 пар вопрос-ответ, сфокусированных на понимании нарратива.

Statistics of the NarrativeQA dataset

Статистика датасета NarrativeQA

NarrativeQA evaluates whether models can integrate information dispersed throughout long narratives, such as entire books or movies, to produce coherent answers. Answers are evaluated on n-gram matching metrics such as BLEU, METEOR, and ROUGE, comparing machine-generated answers against two reference answers for each question.

NarrativeQA оценивает, могут ли модели интегрировать информацию, рассеянную по длинным нарративам — целым книгам или фильмам, — чтобы давать связные ответы. Ответы оцениваются n-граммными метриками, такими как BLEU, METEOR и ROUGE, путём сравнения машинно-сгенерированных ответов с двумя эталонными ответами на каждый вопрос.

NarrativeQA highlights the importance of questions that go beyond simple extraction, requiring models to integrate information across the document. By generating questions from summaries instead of full texts, the authors ensured questions required holistic comprehension of the text, thus reducing superficial, extractive answering strategies.

NarrativeQA подсвечивает важность вопросов, выходящих за рамки простого извлечения и требующих интеграции информации по всему документу. Генерируя вопросы из аннотаций, а не из полных текстов, авторы гарантировали, что вопросы требуют целостного понимания текста, тем самым снижая поверхностные, экстрактивные стратегии ответа.

NovelQA, introduced by Wang et al. in 2024, is a benchmark designed for evaluating reading comprehension on very long texts, often exceeding 200,000 tokens. Similar to NarrativeQA but updated for modern times, NovelQA assesses how well models understand and integrate narratives spanning entire novels. Models were evaluated in two formats: multiple-choice and open-ended generation.

NovelQA, представленный Wang et al. в 2024, — это бенчмарк, разработанный для оценки понимания чтения на очень длинных текстах, часто превышающих 200 000 токенов. Подобно NarrativeQA, но обновлённый под современные реалии, NovelQA оценивает, насколько хорошо модели понимают и интегрируют нарративы, охватывающие целые романы. Модели оценивались в двух форматах: множественный выбор и открытая генерация.

Two types of responses in NovelQA

Два типа ответов в NovelQA

To build the dataset, the authors selected a diverse set of 89 English novels and collaborated closely with English literature students familiar with these works. Annotators created 2,305 questions in two phases. First, annotators used a question template and filled in entities from the novel to form valid questions (templates below).

Чтобы построить датасет, авторы выбрали разнообразный набор из 89 английских романов и тесно сотрудничали со студентами английской литературы, знакомыми с этими произведениями. Аннотаторы создали 2305 вопросов в две фазы. Сначала аннотаторы использовали шаблон вопроса и подставляли сущности из романа, чтобы сформировать корректные вопросы (шаблоны ниже).

Templates used to generate questions in NovelQA

Шаблоны, использованные для генерации вопросов в NovelQA

Then, to enhance question diversity, annotators also freely generated challenging questions. All the questions were then reviewed by the authors, who ultimately accepted 79.4% of the questions. Each question was accompanied by a gold-standard answer and the relevant supporting evidence from the novels to ground evaluations.

Затем, чтобы повысить разнообразие вопросов, аннотаторы также свободно генерировали более сложные вопросы. Все вопросы затем были проверены авторами, которые в итоге приняли 79,4% вопросов. Каждый вопрос сопровождался эталонным ответом и соответствующими подтверждающими доказательствами из романов для заземления оценок.

NovelQA evaluates a model’s ability to synthesize, integrate, and recall detailed information across extremely long contexts. Questions fall into these categories:

NovelQA оценивает способность модели синтезировать, интегрировать и вспоминать детальную информацию в очень длинных контекстах. Вопросы делятся на следующие категории:

Ориентированные на детали (22,2%): фокус на тонких подробностях, требующих внимательного припоминания. Single-hop (42,8%): отвечаются по соседним предложениям или близко связанным фрагментам. Multi-hop (35%): требуют синтеза информации по нескольким главам.

The questions cover various narrative aspects, such as characters, plot, setting, and deeper thematic meanings. The benchmark supports both multiple-choice and open-ended generative evaluation methods, with GPT-4 serving as evaluator for generative answers (achieving Cohen’s Kappa of 89.25% against human judgments).

Вопросы охватывают различные нарративные аспекты — персонажей, сюжет, сеттинг и более глубокие тематические смыслы. Бенчмарк поддерживает как множественный выбор, так и открытую генеративную оценку, причём GPT-4 выступает оценщиком для генеративных ответов (Cohen's Kappa 89,25% с человеческими оценками).

Data distribution by complexity and aspect in NovelQA

Распределение данных по сложности и аспекту в NovelQA

NovelQA’s findings are a shift from the typical “lost in the middle” problem—it showed that model performance declines when evidence appears beyond the 100,000-token mark. The authors also highlighted the importance of rigorous quality control, manually reviewing all crowd-generated questions and accepting only 79.4% of question-answer pairs. Finally, explicitly linking each answer to specific supporting evidence helps with retrieval evals.

Результаты NovelQA — это отход от типичной проблемы «lost in the middle»: они показали, что качество моделей падает, когда доказательства появляются за пределами отметки в 100 000 токенов. Авторы также подчеркнули важность строгого контроля качества, вручную проверяя все вопросы, сгенерированные краудворкерами, и принимая только 79,4% пар вопрос-ответ. Наконец, явная связка каждого ответа с конкретными подтверждающими доказательствами помогает с evals ретривера.

Performance of models decline when evidence is beyond 100k tokens

Качество моделей падает, когда доказательства расположены за пределами 100k токенов

While narrative texts present one kind of challenge, comprehending dense, technical documents introduces an entirely different set of difficulties.

Если нарративные тексты представляют один вид сложности, то понимание плотных технических документов вводит совершенно другой набор трудностей.

QASPER, introduced by Dasigi et al. (2021), addresses this by testing models on information-seeking questions on academic papers. Specifically, QASPER contains 5,049 questions on 1,585 NLP papers. Similar to NarrativeQA, these questions were crafted by NLP practitioners who had only read paper titles and abstracts. This approach ensures questions often require synthesizing information across the entire paper rather than simple text extraction.

QASPER, представленный Dasigi et al. (2021), решает эту задачу, тестируя модели на информационно-поисковых вопросах по академическим статьям. В частности, QASPER содержит 5049 вопросов по 1585 NLP-статьям. Подобно NarrativeQA, эти вопросы составлялись NLP-практиками, прочитавшими только заголовки и аннотации статей. Такой подход гарантирует, что вопросы часто требуют синтеза информации из всей статьи, а не простого извлечения текста.

Example question, answer, and supporting evidence in QASPER

Пример вопроса, ответа и подтверждающего доказательства в QASPER

First, 25 NLP practitioners selected papers that interested them and created questions based solely on titles and abstracts. Then, another group of 51 NLP experts answered these questions using the full texts. The latter group’s task included determining if questions were answerable, pinpointing specific supporting evidence (such as text passages, figures, or tables), and providing clear, concise answers. (10% of questions were marked unanswerable and thus excluded.) Separating question generation from answer annotation reduced biases, as question authors had no prior knowledge of the detailed answers.

Сначала 25 NLP-практиков выбрали интересующие их статьи и составили вопросы, основываясь только на заголовках и аннотациях. Затем другая группа из 51 NLP-эксперта отвечала на эти вопросы, используя полные тексты. Задача последней группы включала определение того, можно ли ответить на вопрос, указание конкретных подтверждающих доказательств (например, текстовых фрагментов, рисунков или таблиц) и предоставление чёткого, краткого ответа. (10% вопросов были помечены как не имеющие ответа и потому исключены.) Разделение генерации вопросов и разметки ответов снизило смещения, поскольку авторы вопросов не имели предварительного знания о детальных ответах.

QASPER evaluates models on two main aspects: answer accuracy (Answer-F1) and evidence selection (Evidence-F1). Answer-F1 measures the accuracy of model responses, regardless of whether they extract text directly or create new explanations. Evidence-F1 evaluates the model’s ability to identify supporting details. This is particularly challenging, as more than half of the questions require combining evidence from multiple sections or paragraphs.

QASPER оценивает модели по двум основным аспектам: точность ответа (Answer-F1) и подбор доказательств (Evidence-F1). Answer-F1 измеряет точность ответов модели, независимо от того, извлекают ли они текст напрямую или создают новые объяснения. Evidence-F1 оценивает способность модели выявлять подтверждающие детали. Это особенно сложно, поскольку более половины вопросов требуют объединения доказательств из нескольких разделов или абзацев.

The Evidence-F1 results in QASPER highlight a significant gap between answer generation and evidence retrieval—even when models give accurate answers, they often struggle to identify the exact supporting passages. Additionally, limiting question creators to only titles and abstracts naturally encouraged questions—and answers—that required a deep understanding of the entire paper, moving beyond superficial extraction.

Результаты Evidence-F1 в QASPER подсвечивают значительный разрыв между генерацией ответа и извлечением доказательств — даже когда модели дают точные ответы, они часто затрудняются указать точные подтверждающие фрагменты. Кроме того, ограничение составителей вопросов только заголовками и аннотациями естественным образом стимулировало вопросы — и ответы, — требующие глубокого понимания всей статьи, выходящего за рамки поверхностного извлечения.

L-Eval by An et al. (2023) covers documents ranging from 3,000 to 200,000 tokens and includes 20 diverse subtasks, 508 extensive documents, and over 2,000 human-annotated question-answer pairs. Unlike previous benchmarks that mainly relied on text-matching metrics, L-Eval also applied LLM-evaluators and measured the difference between both.

L-Eval от An et al. (2023) охватывает документы длиной от 3000 до 200 000 токенов и включает 20 разнообразных подзадач, 508 объёмных документов и более 2000 размеченных людьми пар вопрос-ответ. В отличие от предыдущих бенчмарков, в основном опиравшихся на метрики сопоставления текста, L-Eval также применял LLM-оценщиков и измерял разницу между подходами.

To build L-Eval, the authors first created four new datasets: Coursera (educational content), SFiction (science fiction stories), CodeU (Python codebases), and LongFQA (financial earnings). They also improved five existing datasets by adding more challenging synthesis-oriented questions, such as augmenting QuALITY to require deeper comprehension of entire documents. Lastly, they reviewed and corrected 12 tasks from prior benchmarks, using Claude-100k to identify and remove inaccuracies or unanswerable questions.

Для построения L-Eval авторы сначала создали четыре новых датасета: Coursera (образовательный контент), SFiction (научно-фантастические истории), CodeU (Python-кодбейзы) и LongFQA (финансовые отчётности). Они также улучшили пять существующих датасетов, добавив более сложные вопросы, ориентированные на синтез, например, дополнив QuALITY вопросами, требующими более глубокого понимания целых документов. Наконец, они проверили и исправили 12 задач из предыдущих бенчмарков, используя Claude-100k для выявления и удаления неточностей или неотвечаемых вопросов.

Statistics of datasets, question types, and domains in L-Eval

Статистика датасетов, типов вопросов и доменов в L-Eval

L-Eval evaluates two types of tasks: closed-ended (like multiple-choice, code comprehension, true/false, and math), emphasizing precise reasoning, and open-ended (such as narrative synthesis and summarization), focusing on integrating and summarizing long-form content.

L-Eval оценивает два типа задач: закрытые (множественный выбор, понимание кода, true/false и математика), акцентирующие точное рассуждение, и открытые (нарративный синтез и summarization), фокусирующиеся на интеграции и обобщении длинного контента.

Closed-ended tasks were evaluated via exact-match accuracy while open-ended tasks had human annotators rating responses from 1 (poor) to 5 (excellent). Additionally, L-Eval used language models like GPT-4 and GPT-3.5 as evaluators through pairwise comparisons for open-ended tasks. These had carefully designed prompts to reduce bias toward overly detailed answers. Traditional n-gram metrics, including ROUGE-L and F1 scores, were also used for efficiency, despite their known sensitivity to response length.

Закрытые задачи оценивались по точному совпадению, тогда как открытые задачи оценивались людьми-аннотаторами по шкале от 1 (плохо) до 5 (отлично). Дополнительно L-Eval использовал языковые модели вроде GPT-4 и GPT-3.5 как оценщиков через попарные сравнения для открытых задач. Они имели тщательно спроектированные промпты, чтобы снизить смещение в пользу чрезмерно подробных ответов. Традиционные n-граммные метрики, включая ROUGE-L и F1-скоры, также использовались для эффективности, несмотря на их известную чувствительность к длине ответа.

L-Eval showed that traditional n-gram metrics often fail to reflect true comprehension in long-context scenarios due to mismatched answer lengths. Additionally, the benchmark demonstrated that using LLMs as evaluators in pairwise comparisons provides superior alignment with human assessments compared to traditional metrics, highlighting clear distinctions in model strengths for closed-ended versus open-ended tasks.

L-Eval показал, что традиционные n-граммные метрики часто не отражают истинное понимание в сценариях с длинным контекстом из-за несовпадения длин ответов. Кроме того, бенчмарк продемонстрировал, что использование LLM в качестве оценщиков в попарных сравнениях даёт превосходное согласие с человеческими оценками по сравнению с традиционными метриками, подсвечивая чёткие различия в сильных сторонах моделей для закрытых и открытых задач.

HELMET (How to Evaluate Long-context Models Effectively and Thoroughly), introduced by Yen et al. (2025), addresses issues in earlier benchmarks, such as unrealistic tasks and inconsistent metrics, providing a framework for evaluating long-context language models.

HELMET (How to Evaluate Long-context Models Effectively and Thoroughly), представленный Yen et al. (2025), решает проблемы более ранних бенчмарков, такие как нереалистичные задачи и непоследовательные метрики, предоставляя фреймворк для оценки long-context языковых моделей.

To start, the authors identified shortcomings in existing evaluations, including limited context lengths, unreliable methods, and inadequate coverage for non-instruction-tuned models. Then, they created a benchmark with seven task categories: Retrieval-Augmented Generation (RAG), generation with citations, passage re-ranking, many-shot in-context learning, long-document question-answering, summarization, and synthetic recall. Each task contains contexts of up to 128,000 tokens, allowing controlled and consistent assessments with carefully crafted few-shot prompts and model-based metrics.

Для начала авторы выявили недостатки существующих оценок, включая ограниченные длины контекста, ненадёжные методы и недостаточное покрытие моделей без instruction-tuning. Затем они создали бенчмарк с семью категориями задач: RAG, генерация с цитатами, переранжирование пассажей, many-shot in-context learning, Q&A на длинных документах, summarization и синтетический recall. Каждая задача содержит контексты до 128 000 токенов, что позволяет проводить контролируемые и согласованные оценки с тщательно подобранными few-shot промптами и метриками на основе моделей.

Task categories, datasets, and metrics in HELMET

Категории задач, датасеты и метрики в HELMET

HELMET specifically evaluates these capabilities in long-context models:

HELMET конкретно оценивает следующие возможности в long-context моделях:

Извлечение и рассуждение: Natural Questions, TriviaQA и HotpotQA тестируют способность модели находить релевантную информацию в обширных контекстах с дистракторами. Следование инструкциям: задачи генерации с требованием цитат оценивают, могут ли модели следовать точным правилам форматирования, сохраняя точность. Сравнительное рассуждение: переранжирование пассажей оценивает, насколько хорошо модели сравнивают и рассуждают по нескольким фрагментам текста. In-context learning: many-shot-задачи измеряют способность модели быстро адаптироваться и обучаться по множеству примеров, предоставленных в контексте. Понимание длинных форм: задачи Q&A на длинных документах и summarization оценивают способность модели синтезировать и понимать обширные тексты.

HELMET showed that synthetic tasks like Needle In a Haystack aren’t as useful, due to their weak correlation with real-world scenarios. Also, by carefully controlling input lengths, HELMET could evaluate model robustness to increasingly long contexts that approached previous models’ limits (≥128K tokens). Similar to previous benchmarks, HELMET replicated the flaws in traditional n-gram metrics such as ROUGE, which can misrepresent quality in longer outputs. Instead, it recommended using model-based evaluations, using models like GPT-4o, for evaluations that align more closely with human judgment.

HELMET показал, что синтетические задачи вроде Needle In a Haystack менее полезны из-за слабой корреляции с реальными сценариями. Также, за счёт тщательного контроля длин входа, HELMET смог оценить устойчивость моделей к всё более длинным контекстам, приближающимся к пределам предыдущих моделей (≥128K токенов). Подобно предыдущим бенчмаркам, HELMET воспроизвёл недостатки традиционных n-граммных метрик вроде ROUGE, которые могут искажать качество на более длинных выходах. Вместо этого он рекомендует использовать оценку на основе моделей с использованием моделей вроде GPT-4o, что лучше согласуется с человеческой оценкой.

Comparison of benchmark results across NIAH, Ruler, InfinityBench, and HELMET

Сравнение результатов бенчмарков по NIAH, Ruler, InfinityBench и HELMET

Loong, by Wang et al. (2024), is a benchmark that evaluates long-context comprehension across multiple documents. While most earlier benchmarks focus on single-document scenarios, Loong presents realistic, multi-document tasks where missing any relevant document results in incorrect answers.

Loong от Wang et al. (2024) — это бенчмарк, оценивающий понимание длинного контекста по нескольким документам. Если большинство более ранних бенчмарков фокусируются на сценариях с одним документом, Loong представляет реалистичные многодокументные задачи, в которых пропуск любого релевантного документа приводит к неверным ответам.

Loong focuses on multi-document Q&A

Loong фокусируется на многодокументных Q&A

Loong consists of 1,600 evals drawn from financial reports, legal cases, and academic papers in English and Chinese, mainly from 2024. Each task includes evidence spread across multiple documents, mimicking real-world complexity. To generate questions, the authors used two methods: template-based generation, where Q&A pairs were constructed through predefined rules, and free annotation, where GPT-4o was prompted to create additional Q&A pairs.

Loong состоит из 1600 evals, взятых из финансовых отчётов, юридических дел и академических статей на английском и китайском, в основном за 2024 год. Каждая задача включает доказательства, распределённые по нескольким документам, имитируя реальную сложность. Для генерации вопросов авторы использовали два метода: шаблонную генерацию, при которой пары Q&A конструировались по заданным правилам, и свободную разметку, при которой GPT-4o промптили на создание дополнительных пар Q&A.

Loong evaluates a model’s ability to locate, compare, cluster, and reason on evidence spread across multiple documents, typically ranging from 10,000 to over 250,000 tokens. The benchmark covers four task types:

Loong оценивает способность модели находить, сравнивать, кластеризовать и рассуждать по доказательствам, распределённым по нескольким документам, обычно от 10 000 до более 250 000 токенов. Бенчмарк охватывает четыре типа задач:

Spotlight: поиск релевантного доказательства в одном конкретном документе среди нескольких. Comparison: сравнение и интеграция нескольких фрагментов информации из разных документов и возврат правильного ответа. Clustering: агрегирование и группировка релевантной информации из нескольких источников по заданным критериям. Chain of Reasoning: интеграция доказательств из разных документов для возврата ответов.

The four evaluation tasks in Loong

Четыре оценочные задачи в Loong

For evaluation, GPT-4 was used as the LLM-evaluator to score model outputs based on accuracy, hallucinations, and completeness, referencing the golden answer and task requirements. Metrics included (i) average scores (the average evaluation across all questions) and (ii) perfect rate (the percentage of questions receiving a perfect score).

Для оценки в качестве LLM-оценщика использовался GPT-4, который выставлял баллы выходам моделей по точности, галлюцинациям и полноте, ссылаясь на эталонный ответ и требования задачи. Метрики включали (i) средние баллы (средняя оценка по всем вопросам) и (ii) perfect rate (процент вопросов, получивших идеальный балл).

Interestingly, their analysis of retrieval-augmented generation (RAG) showed that using RAG reduced performance on the Loong benchmark. They hypothesized that this is because Loong’s evidence is dispersed across multiple documents. While RAG helped somewhat on spotlight tasks, it performed poorly on tasks demanding deeper synthesis, such as comparison, clustering, and multi-step reasoning.

Интересно, что их анализ retrieval-augmented generation (RAG) показал, что использование RAG снижает качество на бенчмарке Loong. Они предположили, что это связано с тем, что доказательства Loong рассредоточены по нескольким документам. Хотя RAG несколько помогал на spotlight-задачах, он плохо справлялся с задачами, требующими более глубокого синтеза, такими как сравнение, кластеризация и многоступенчатое рассуждение.

The use of RAG degrades performance compared to the baseline

Использование RAG ухудшает качество по сравнению с базовой линией

Here are some other long-context benchmarks that you may find helpful:

Вот ещё несколько long-context бенчмарков, которые могут оказаться полезными:

A Critical Evaluation of Evaluations for Long-form Question Answering Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models BizBench: A Quantitative Reasoning Benchmark for Business and Finance ELI5: Long Form Question Answering Frustratingly Hard Evidence Retrieval for QA Over Books InfinityBench: Extending Long Context Evaluation Beyond 100K Tokens LFED: A Literary Fiction Evaluation Dataset for Large Language Models LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-Context Multitasks LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion MultiDoc2Dial: Modeling Dialogues Grounded in Multiple Documents QuALITY: Question Answering with Long Input Texts, Yes!

• • •

• • •

Whew, that was a lot! Here are some key takeaways:

Уф, это было много! Вот ключевые выводы:

Faithfulness и helpfulness — ортогональные измерения. Ответ может быть верным источнику, но бесполезным, или полезным, но содержать галлюцинации. Faithfulness также означает умение сказать «я не знаю». Модели должны отказываться отвечать, когда в контексте нет информации, и корректно отвечать, когда она есть. Традиционные n-граммные метрики плохо работают на Q&A. Используйте вместо них LLM-оценщиков. Они лучше оценивают семантическое качество и ближе к человеческой оценке. Расположение доказательств имеет значение. На рассмотренных бенчмарках одни модели страдали от эффекта «lost in the middle», другие показывали плохое качество, когда доказательства были за отметкой в 100 000 токенов. Использование RAG может ухудшить качество, особенно для задач, требующих связного рассуждения по доказательствам, распределённым по одному или нескольким документам.

Did I miss anything important? Any other metrics, methods, or benchmarks you’d suggest I look into? Please let me know!

Что-нибудь важное упустил? Какие ещё метрики, методы или бенчмарки посоветуете изучить? Пожалуйста, дайте знать!

By the way, if you want to learn more about evals, my friends Hamel and Shreya are hosting their final cohort of “AI Evals for Engineers and PMs” in July. Here’s a 35% discount code.

Кстати, если вы хотите больше узнать о evals, мои друзья Hamel и Shreya проводят свой последний поток курса «AI Evals for Engineers and PMs» в июле. Вот промокод на скидку 35%.

References

Литература

An, Chenxin, Shansan Gong, Ming Zhong, Xingjian Zhao, Mukai Li, Jun Zhang, Lingpeng Kong, and Xipeng Qiu. 2023. “L-Eval: Instituting Standardized Evaluation for Long Context Language Models.” arXiv. https://doi.org/10.48550/arXiv.2307.11088.

An, Chenxin, Shansan Gong, Ming Zhong, Xingjian Zhao, Mukai Li, Jun Zhang, Lingpeng Kong, and Xipeng Qiu. 2023. «L-Eval: Instituting Standardized Evaluation for Long Context Language Models.» arXiv. https://doi.org/10.48550/arXiv.2307.11088.

Bai, Yushi, Xin Lv, Jiajie Zhang, Hongchang Lyu, Jiankai Tang, Zhidian Huang, Zhengxiao Du, et al. 2024. “LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding.” arXiv. https://doi.org/10.48550/arXiv.2308.14508.

Bai, Yushi, Xin Lv, Jiajie Zhang, Hongchang Lyu, Jiankai Tang, Zhidian Huang, Zhengxiao Du, et al. 2024. «LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding.» arXiv. https://doi.org/10.48550/arXiv.2308.14508.

Bai, Yushi, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, et al. 2025. “LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-Context Multitasks.” arXiv. https://doi.org/10.48550/arXiv.2412.15204.

Bai, Yushi, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, et al. 2025. «LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-Context Multitasks.» arXiv. https://doi.org/10.48550/arXiv.2412.15204.

Dasigi, Pradeep, Kyle Lo, Iz Beltagy, Arman Cohan, Noah A. Smith, and Matt Gardner. 2021. “A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers.” arXiv. https://doi.org/10.48550/arXiv.2105.03011.

Dasigi, Pradeep, Kyle Lo, Iz Beltagy, Arman Cohan, Noah A. Smith, and Matt Gardner. 2021. «A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers.» arXiv. https://doi.org/10.48550/arXiv.2105.03011.

Dong, Zican, Tianyi Tang, Junyi Li, Wayne Xin Zhao, and Ji-Rong Wen. 2024. “BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models.” arXiv. https://doi.org/10.48550/arXiv.2309.13345.

Dong, Zican, Tianyi Tang, Junyi Li, Wayne Xin Zhao, and Ji-Rong Wen. 2024. «BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models.» arXiv. https://doi.org/10.48550/arXiv.2309.13345.

Fabbri, Alexander, Chien-Sheng Wu, Wenhao Liu, and Caiming Xiong. 2022. “QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization.” In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Seattle, United States: Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.naacl-main.187.

Fabbri, Alexander, Chien-Sheng Wu, Wenhao Liu, and Caiming Xiong. 2022. «QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization.» In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Seattle, United States: Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.naacl-main.187.

Fan, Angela, Yacine Jernite, Ethan Perez, David Grangier, Jason Weston, and Michael Auli. 2019. “ELI5: Long Form Question Answering.” arXiv. https://doi.org/10.48550/arXiv.1907.09190.

Fan, Angela, Yacine Jernite, Ethan Perez, David Grangier, Jason Weston, and Michael Auli. 2019. «ELI5: Long Form Question Answering.» arXiv. https://doi.org/10.48550/arXiv.1907.09190.

Feng, Song, Siva Sankalp Patel, Hui Wan, and Sachindra Joshi. 2021. “MultiDoc2Dial: Modeling Dialogues Grounded in Multiple Documents.” In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 6162–76. https://doi.org/10.18653/v1/2021.emnlp-main.498.

Feng, Song, Siva Sankalp Patel, Hui Wan, and Sachindra Joshi. 2021. «MultiDoc2Dial: Modeling Dialogues Grounded in Multiple Documents.» In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 6162–76. https://doi.org/10.18653/v1/2021.emnlp-main.498.

Hu, Xiangkun, Dongyu Ru, Lin Qiu, Qipeng Guo, Tianhang Zhang, Yang Xu, Yun Luo, Pengfei Liu, Yue Zhang, and Zheng Zhang. 2024. “RefChecker: Reference-Based Fine-Grained Hallucination Checker and Benchmark for Large Language Models.” arXiv. https://doi.org/10.48550/arXiv.2405.14486.

Hu, Xiangkun, Dongyu Ru, Lin Qiu, Qipeng Guo, Tianhang Zhang, Yang Xu, Yun Luo, Pengfei Liu, Yue Zhang, and Zheng Zhang. 2024. «RefChecker: Reference-Based Fine-Grained Hallucination Checker and Benchmark for Large Language Models.» arXiv. https://doi.org/10.48550/arXiv.2405.14486.

Kočiský, Tomáš, Jonathan Schwarz, Phil Blunsom, Chris Dyer, Karl Moritz Hermann, Gábor Melis, and Edward Grefenstette. 2017. “The NarrativeQA Reading Comprehension Challenge.” arXiv. https://doi.org/10.48550/arXiv.1712.07040.

Kočiský, Tomáš, Jonathan Schwarz, Phil Blunsom, Chris Dyer, Karl Moritz Hermann, Gábor Melis, and Edward Grefenstette. 2017. «The NarrativeQA Reading Comprehension Challenge.» arXiv. https://doi.org/10.48550/arXiv.1712.07040.

Koncel-Kedziorski, Rik, Michael Krumdick, Viet Lai, Varshini Reddy, Charles Lovering, and Chris Tanner. 2024. “BizBench: A Quantitative Reasoning Benchmark for Business and Finance.” arXiv. https://doi.org/10.48550/arXiv.2311.06602.

Koncel-Kedziorski, Rik, Michael Krumdick, Viet Lai, Varshini Reddy, Charles Lovering, and Chris Tanner. 2024. «BizBench: A Quantitative Reasoning Benchmark for Business and Finance.» arXiv. https://doi.org/10.48550/arXiv.2311.06602.

Kuratov, Yuri, Aydar Bulatov, Petr Anokhin, Ivan Rodkin, Dmitry Sorokin, Artyom Sorokin, and Mikhail Burtsev. 2024. “BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack.” arXiv. https://doi.org/10.48550/arXiv.2406.10149.

Kuratov, Yuri, Aydar Bulatov, Petr Anokhin, Ivan Rodkin, Dmitry Sorokin, Artyom Sorokin, and Mikhail Burtsev. 2024. «BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack.» arXiv. https://doi.org/10.48550/arXiv.2406.10149.

Laban, Philippe, Tobias Schnabel, Paul N. Bennett, and Marti A. Hearst. 2021. “SummaC: Re-Visiting NLI-Based Models for Inconsistency Detection in Summarization.” arXiv. https://doi.org/10.48550/arXiv.2111.09525.

Laban, Philippe, Tobias Schnabel, Paul N. Bennett, and Marti A. Hearst. 2021. «SummaC: Re-Visiting NLI-Based Models for Inconsistency Detection in Summarization.» arXiv. https://doi.org/10.48550/arXiv.2111.09525.

Ling, Zhan, Kang Liu, Kai Yan, Yifan Yang, Weijian Lin, Ting-Han Fan, Lingfeng Shen, Zhengyin Du, and Jiecao Chen. 2025. “LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion.” arXiv. https://doi.org/10.48550/arXiv.2501.15089.

Ling, Zhan, Kang Liu, Kai Yan, Yifan Yang, Weijian Lin, Ting-Han Fan, Lingfeng Shen, Zhengyin Du, and Jiecao Chen. 2025. «LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion.» arXiv. https://doi.org/10.48550/arXiv.2501.15089.

Mou, Xiangyang, Mo Yu, Bingsheng Yao, Chenghao Yang, Xiaoxiao Guo, Saloni Potdar, and Hui Su. 2020. “Frustratingly Hard Evidence Retrieval for QA Over Books.” arXiv. https://doi.org/10.48550/arXiv.2007.09878.

Mou, Xiangyang, Mo Yu, Bingsheng Yao, Chenghao Yang, Xiaoxiao Guo, Saloni Potdar, and Hui Su. 2020. «Frustratingly Hard Evidence Retrieval for QA Over Books.» arXiv. https://doi.org/10.48550/arXiv.2007.09878.

Pang, Richard Yuanzhe, Alicia Parrish, Nitish Joshi, Nikita Nangia, Jason Phang, Angelica Chen, Vishakh Padmakumar, et al. 2022. “QuALITY: Question Answering with Long Input Texts, Yes!” arXiv. https://doi.org/10.48550/arXiv.2112.08608.

Pang, Richard Yuanzhe, Alicia Parrish, Nitish Joshi, Nikita Nangia, Jason Phang, Angelica Chen, Vishakh Padmakumar, et al. 2022. «QuALITY: Question Answering with Long Input Texts, Yes!» arXiv. https://doi.org/10.48550/arXiv.2112.08608.

Wang, Chonghua, Haodong Duan, Songyang Zhang, Dahua Lin, and Kai Chen. 2024. “Ada-LEval: Evaluating Long-Context LLMs with Length-Adaptable Benchmarks.” arXiv. https://doi.org/10.48550/arXiv.2404.06480.

Wang, Chonghua, Haodong Duan, Songyang Zhang, Dahua Lin, and Kai Chen. 2024. «Ada-LEval: Evaluating Long-Context LLMs with Length-Adaptable Benchmarks.» arXiv. https://doi.org/10.48550/arXiv.2404.06480.

Wang, Cunxiang, Ruoxi Ning, Boqi Pan, Tonghui Wu, Qipeng Guo, Cheng Deng, Guangsheng Bao, et al. 2024. “NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens.” arXiv. https://doi.org/10.48550/arXiv.2403.12766.

Wang, Cunxiang, Ruoxi Ning, Boqi Pan, Tonghui Wu, Qipeng Guo, Cheng Deng, Guangsheng Bao, et al. 2024. «NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens.» arXiv. https://doi.org/10.48550/arXiv.2403.12766.

Wang, Minzheng, Longze Chen, Cheng Fu, Shengyi Liao, Xinghua Zhang, Bingli Wu, Haiyang Yu, et al. 2024. “Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA.” arXiv. https://doi.org/10.48550/arXiv.2406.17419.

Wang, Minzheng, Longze Chen, Cheng Fu, Shengyi Liao, Xinghua Zhang, Bingli Wu, Haiyang Yu, et al. 2024. «Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA.» arXiv. https://doi.org/10.48550/arXiv.2406.17419.

Xu, Fangyuan, Yixiao Song, Mohit Iyyer, and Eunsol Choi. 2023. “A Critical Evaluation of Evaluations for Long-Form Question Answering.” arXiv. https://doi.org/10.48550/arXiv.2305.18201.

Xu, Fangyuan, Yixiao Song, Mohit Iyyer, and Eunsol Choi. 2023. «A Critical Evaluation of Evaluations for Long-Form Question Answering.» arXiv. https://doi.org/10.48550/arXiv.2305.18201.

Yen, Howard, Tianyu Gao, Minmin Hou, Ke Ding, Daniel Fleischer, Peter Izsak, Moshe Wasserblat, and Danqi Chen. 2025. “HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly.” arXiv. https://doi.org/10.48550/arXiv.2410.02694.

Yen, Howard, Tianyu Gao, Minmin Hou, Ke Ding, Daniel Fleischer, Peter Izsak, Moshe Wasserblat, and Danqi Chen. 2025. «HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly.» arXiv. https://doi.org/10.48550/arXiv.2410.02694.

Yu, Linhao, Qun Liu, and Deyi Xiong. 2024. “LFED: A Literary Fiction Evaluation Dataset for Large Language Models.” arXiv. https://doi.org/10.48550/arXiv.2405.10166.

Yu, Linhao, Qun Liu, and Deyi Xiong. 2024. «LFED: A Literary Fiction Evaluation Dataset for Large Language Models.» arXiv. https://doi.org/10.48550/arXiv.2405.10166.

Zhang, Xinrong, Yingfa Chen, Shengding Hu, Zihang Xu, Junhao Chen, Moo Khai Hao, Xu Han, et al. 2024. “InfinityBench: Extending Long Context Evaluation Beyond 100K Tokens.” arXiv. https://doi.org/10.48550/arXiv.2402.13718.

Zhang, Xinrong, Yingfa Chen, Shengding Hu, Zihang Xu, Junhao Chen, Moo Khai Hao, Xu Han, et al. 2024. «InfinityBench: Extending Long Context Evaluation Beyond 100K Tokens.» arXiv. https://doi.org/10.48550/arXiv.2402.13718.

If you found this useful, please cite this write-up as:

Если вам это пригодилось, пожалуйста, цитируйте эту статью так:

Yan, Ziyou. (Jun 2025). Evaluating Long-Context Question & Answer Systems. eugeneyan.com. https://eugeneyan.com/writing/qa-evals/.

Yan, Ziyou. (Jun 2025). Evaluating Long-Context Question & Answer Systems. eugeneyan.com. https://eugeneyan.com/writing/qa-evals/.

or

или

@article{yan2025qa, title = {Evaluating Long-Context Question & Answer Systems}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2025}, month = {Jun}, url = {https://eugeneyan.com/writing/qa-evals/} }

@article{yan2025qa, title = {Evaluating Long-Context Question & Answer Systems}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2025}, month = {Jun}, url = {https://eugeneyan.com/writing/qa-evals/} }

Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.

Присоединяйтесь к 11 800+ читателям, получающим обновления о machine learning, RecSys, LLM и инженерии.