P3: Optimizing Retrieval with Reasoning Models – Hamel’s Blog - Hamel Husain
В рамках курса LLM Evals Хэмел Хусейн принимал Ориона Веллера из Университета Джонса Хопкинса, который рассказал об интеграции instruction-following и reasoning напрямую в процесс поиска документов для RAG. Орион утверждает, что хотя LLM улучшили генеративную часть RAG, сам этап ретривала остался статичным — LLM используется лишь как обёртка поверх классического поиска. Он представил две модели: Promptriever — bi-encoder, обученный на специальном датасете с instruction negatives, позволяющий встраивать инструкции прямо в эмбеддинг запроса; и Rank1 — cross-encoder реранкер, обученный путём дистилляции цепочек рассуждений из Deepseek R1. На бенчмарках BRIGHT, NevIR и mFollowIR модель Rank1 (7B параметров) более чем вдвое превосходит базовый RankLLaMA, несмотря на обучение на в 10 раз меньшем объёме данных. Промптинг через естественный язык позволяет управлять поведением ретривера (например, повышать recall) без настройки числовых гиперпараметров, а все модели и данные доступны в open-source.
As part of our LLM Evals course, I hosted Orion Weller from Johns Hopkins University for our 5-part mini-series on evaluating and optimizing RAG. Orion’s research focuses on embedding the instruction-following and reasoning capabilities of modern Large Language Models (LLMs) directly into the retrieval process.
В рамках нашего курса LLM Evals я принимал Ориона Веллера из Университета Джонса Хопкинса в нашей мини-серии из 5 частей по оценке и оптимизации RAG. Исследования Ориона посвящены встраиванию возможностей следования инструкциям и рассуждения современных Large Language Models (LLM) непосредственно в процесс ретривала.
In his talk, Orion argues that while LLMs have improved RAG, the core retrieval step has remained static. He introduces a paradigm where instruction-following and reasoning are baked directly into retrieval models, a fundamental shift from using LLMs for query rewriting or as generic rerankers.
В своём докладе Орион утверждает, что хотя LLM улучшили RAG, основной шаг ретривала остался статичным. Он представляет парадигму, в которой следование инструкциям и рассуждение встроены непосредственно в модели поиска — это фундаментальный сдвиг от использования LLM для переписывания запросов или в качестве универсальных реранкеров.
His approach is showcased with two models:
Его подход демонстрируется на двух моделях:
Promptriever (bi-encoder): Creates “instruction-aware” embeddings by training on a novel dataset containing instruction negatives. These are examples where a document is relevant to a query but not its specific instruction (e.g., “find a document using a metaphor”). This forces the model to encode abstract instructions directly into the query embedding, allowing it to surface documents from a massive corpus that a standard retriever would miss.
Rank1 (reranker): A smaller model fine-tuned by distilling the reasoning traces of a larger model. It generates an explicit, auditable chain of thought to assess relevance. This specialized training makes it exceptionally good at reasoning, allowing it to uncover novel, relevant documents invisible to previous systems.
Promptriever (bi-encoder): Создаёт «осведомлённые об инструкциях» эмбеддинги, обучаясь на новом датасете, содержащем instruction negatives. Это примеры, где документ релевантен запросу, но не его конкретной инструкции (например, «найти документ, использующий метафору»). Это заставляет модель кодировать абстрактные инструкции непосредственно в эмбеддинг запроса, позволяя ей находить в огромном корпусе документы, которые стандартный ретривер пропустил бы. Rank1 (реранкер): Меньшая модель, дообученная путём дистилляции цепочек рассуждений более крупной модели. Она генерирует явную, проверяемую цепочку рассуждений для оценки релевантности. Такое специализированное обучение делает её исключительно хорошей в рассуждениях, позволяя обнаруживать новые релевантные документы, невидимые для предыдущих систем.
Below is an annotated version of his presentation with timestamped links.
Ниже — аннотированная версия его презентации со ссылками с тайм-кодами.
👉 These are the kinds of things we cover in our AI Evals course. You can learn more about the course here. 👈
👉 Подобные вещи мы рассматриваем на нашем курсе AI Evals. Узнать больше о курсе можно здесь. 👈
Annotated Presentation
Аннотированная презентация
Title slide for Orion Weller’s talk on integrating instruction following and reasoning into information retrieval (IR).
Титульный слайд доклада Ориона Веллера об интеграции следования инструкциям и рассуждения в information retrieval (IR).
The talk begins by highlighting the user-facing interfaces of modern LLMs like ChatGPT, which have set new expectations for how we interact with AI. One key capability of LLMs is instruction following: executing complex, multi-part natural language instructions with high fidelity.
Доклад начинается с того, что современные LLM, такие как ChatGPT, задали новые ожидания относительно того, как мы взаимодействуем с ИИ. Одна из ключевых возможностей LLM — следование инструкциям: выполнение сложных, состоящих из нескольких частей инструкций на естественном языке с высокой точностью.
Orion shows the result of a pirate-themed haiku prompt. The model successfully adheres to all constraints: it generates a haiku, maintains a pirate style, and mentions “RAG,” demonstrating a level of instruction following that is a recent and significant advancement.
Орион показывает результат запроса на хайку в пиратском стиле. Модель успешно соблюдает все ограничения: генерирует хайку, выдерживает пиратский стиль и упоминает «RAG», демонстрируя уровень следования инструкциям, который является недавним и значительным достижением.
A second key capability is reasoning, also known as test-time compute or “thinking.” The slide shows a model verbalizing its thought process to solve a problem, generating intermediate “thinking tokens” that outline its step-by-step logic before providing the final answer. This ability to break down and reason about a task is a major focus in the LLM community.
Вторая ключевая возможность — рассуждение, также известное как test-time compute или «мышление». На слайде показано, как модель проговаривает свой мыслительный процесс для решения задачи, генерируя промежуточные «токены мышления», которые описывают её пошаговую логику перед выдачей окончательного ответа. Эта способность разбивать и анализировать задачу — одна из основных тем в сообществе LLM.
With these LLM capabilities established, Orion poses the talk’s central question: how can we integrate these instruction-following and reasoning abilities directly into the retrieval process, moving beyond simply using LLMs to summarize search results?
Установив эти возможности LLM, Орион ставит центральный вопрос доклада: как мы можем интегрировать эти способности к следованию инструкциям и рассуждению непосредственно в процесс ретривала, выходя за рамки простого использования LLM для суммаризации результатов поиска?
To illustrate how little the search paradigm has changed, Orion shows Google’s interface from 1999.
Чтобы проиллюстрировать, насколько мало изменилась парадигма поиска, Орион показывает интерфейс Google 1999 года.
He contrasts it with a modern Google search bar. Despite 26 years of development, the fundamental interaction remains the same: a user types keywords, and the system matches them to return a list of links.
Он сопоставляет его с современной строкой поиска Google. Несмотря на 26 лет развития, фундаментальное взаимодействие остаётся тем же: пользователь вводит ключевые слова, а система сопоставляет их и возвращает список ссылок.
This slide shows a modern “SearchGPT” style interface, which provides a generated, conversational answer.
На этом слайде показан современный интерфейс в стиле «SearchGPT», который предоставляет сгенерированный, разговорный ответ.
Despite the interface, Orion argues the underlying retrieval process has not evolved. Even in advanced systems, the LLM is often just a “wrapper.” The system sends the query to a traditional search engine, gets back a standard list of results, and then uses the LLM to summarize them. The retrieval step itself hasn’t gained the new capabilities of the LLM. Orion’s work aims to change this.
Несмотря на интерфейс, Орион утверждает, что лежащий в основе процесс ретривала не эволюционировал. Даже в продвинутых системах LLM часто остаётся лишь «обёрткой». Система отправляет запрос в традиционный поисковик, получает обратно стандартный список результатов и затем использует LLM для их суммаризации. Сам шаг ретривала не получил новых возможностей LLM. Работа Ориона направлена на то, чтобы это изменить.
To illustrate current limitations, Orion starts with Keyword Search, which relies on exact lexical matching. Given a query and three documents, keyword search matches “Data Encryption Standards” and “Wolves Outside Your Data” because they contain the keyword “data.”
Чтобы проиллюстрировать текущие ограничения, Орион начинает с поиска по ключевым словам (Keyword Search), который опирается на точное лексическое совпадение. По запросу и трём документам поиск по ключевым словам сопоставляет «Data Encryption Standards» и «Wolves Outside Your Data», потому что они содержат ключевое слово «data».
It fails to retrieve “Digital Protection” because it lacks the keyword “data,” even though “digital” is semantically similar, highlighting the brittleness of keyword-only approaches.
Он не может извлечь «Digital Protection», потому что там отсутствует ключевое слово «data», хотя «digital» семантически близко, что подчёркивает хрупкость подходов, основанных только на ключевых словах.
The next evolution is Semantic Search, which matches based on meaning, often by representing queries and documents as vectors in a shared semantic space. A good semantic search model would retrieve all three documents, as it understands the relationship between “data” and “digital,” and “privacy” and “protection.” This improves on keyword search but still falls short of true instruction following.
Следующая эволюция — семантический поиск (Semantic Search), который сопоставляет документы на основе смысла, часто представляя запросы и документы в виде векторов в общем семантическом пространстве. Хорошая модель семантического поиска извлекла бы все три документа, поскольку понимает связь между «data» и «digital», а также «privacy» и «protection». Это улучшение по сравнению с поиском по ключевым словам, но всё же недостаточно для настоящего следования инструкциям.
Orion introduces the next paradigm: Instruction-based Search, where the query is a nuanced command. The user wants to find documents about data privacy that also use “extended metaphors.”
Орион вводит следующую парадигму: поиск на основе инструкций (Instruction-based Search), где запрос представляет собой нюансированную команду. Пользователь хочет найти документы о приватности данных, которые также используют «развёрнутые метафоры».
An instruction-based search system should understand this meta-level constraint and retrieve only the “Wolves Outside Your Data” document, which uses a metaphorical title. It correctly identifies that the other two documents, while topically relevant, do not meet the stylistic instruction.
Система поиска на основе инструкций должна понимать это мета-уровневое ограничение и извлекать только документ «Wolves Outside Your Data», в названии которого используется метафора. Она правильно определяет, что два других документа, хотя и релевантны по теме, не соответствуют стилистической инструкции.
This example illustrates the limitation of reranking results of standard semantic search (a popular approach in RAG). Such an approach would fail here because a semantic search model has no way to understand the constraint “uses an extended metaphor.” It would rank documents based only on their relevance to “data privacy,” meaning the “Wolves” document might not score high enough to even be considered by the reranker. To solve this, the instruction must influence the initial retrieval to change which documents are considered relevant in the first place.
Этот пример иллюстрирует ограничение реранкинга результатов стандартного семантического поиска (популярного подхода в RAG). Такой подход здесь потерпит неудачу, потому что модель семантического поиска не имеет способа понять ограничение «использует развёрнутую метафору». Она будет ранжировать документы только по их релевантности «приватности данных», а значит, документ «Wolves» может не получить достаточно высокий ранг, чтобы вообще попасть на рассмотрение реранкеру. Чтобы решить это, инструкция должна влиять на исходный ретривал, изменяя то, какие документы вообще считаются релевантными.
Orion pushes the concept to its extreme with Prompt and Reasoning-based Search. The query now includes instructions about the desired behavior of the search engine, such as “Have really high recall or I will lose my job.”
Орион доводит концепцию до крайности с помощью поиска на основе промптов и рассуждений (Prompt and Reasoning-based Search). Запрос теперь содержит инструкции о желаемом поведении поисковой системы, например, «Обеспечь действительно высокий recall, иначе я потеряю работу».
A traditional search engine would misinterpret this, likely searching for documents containing the word “recall.” An advanced, reasoning-based retriever should understand the user’s intent and adjust its retrieval strategy, for example by lowering its relevance threshold to ensure high recall.
Традиционный поисковик неправильно интерпретирует это, вероятно, ища документы со словом «recall». Продвинутый ретривер на основе рассуждений должен понимать намерение пользователя и корректировать свою стратегию поиска, например, понижая порог релевантности для обеспечения высокого recall.
What is an instruction in the context of IR? Orion breaks it down into several categories.
Что такое инструкция в контексте IR? Орион разбивает это понятие на несколько категорий.
First, instructions can refer to document attributes like date, length, or source. A retriever should understand these from document content without needing pre-processed metadata. Second, they can involve NLU aspects, such as document sentiment or writing style. Third, they can include logical conditions, combining multiple constraints with operators like AND, OR, and NOT.
Во-первых, инструкции могут касаться атрибутов документа, таких как дата, длина или источник. Ретривер должен понимать их из содержимого документа, не требуя предварительно обработанных метаданных. Во-вторых, они могут включать NLU-аспекты, такие как тональность документа или стиль изложения. В-третьих, они могут содержать логические условия, объединяющие несколько ограничений с помощью операторов AND, OR и NOT.
The space of possible instructions mirrors the complexity of natural language.
Пространство возможных инструкций отражает сложность естественного языка.
We are already used to prompting LLMs with complex instructions. Since modern retrievers are built on LLMs, we should be able to interact with them in the same way.
Мы уже привыкли отправлять LLM сложные инструкции в промптах. Поскольку современные ретриверы построены на LLM, мы должны иметь возможность взаимодействовать с ними таким же образом.
Orion introduces two models from his research that embody these principles. First is Promptriever, a fast embedding model for following instructions during initial retrieval.
Орион представляет две модели из своего исследования, воплощающие эти принципы. Первая — Promptriever, быстрая embedding-модель для следования инструкциям на этапе исходного ретривала.
Second is Rank1, a powerful but slower reranker that uses reasoning and test-time compute for nuanced relevance judgments.
Вторая — Rank1, мощный, но более медленный реранкер, использующий рассуждения и test-time compute для нюансированных оценок релевантности.
First, we will dive into Promptriever. The associated paper’s title is “Instruction-Trained Retrievers Can Be Prompted Like Language Models,” a collaboration between Johns Hopkins and Samaya AI.
Сначала мы погрузимся в Promptriever. Соответствующая статья называется «Instruction-Trained Retrievers Can Be Prompted Like Language Models» — это совместная работа Johns Hopkins и Samaya AI.
Orion explains the two main retrieval architectures. A Bi-Encoder (dense retriever) creates separate query and document embeddings for fast comparison, making it highly scalable. A Cross-Encoder (reranker) processes the query and document together for deeper interaction at a higher computational cost. Promptriever is a bi-encoder.
Орион объясняет две основные архитектуры ретривала. Bi-Encoder (плотный ретривер) создаёт отдельные эмбеддинги запроса и документа для быстрого сравнения, что делает его хорошо масштабируемым. Cross-Encoder (реранкер) обрабатывает запрос и документ совместно для более глубокого взаимодействия за счёт более высокой вычислительной стоимости. Promptriever — это bi-encoder.
The main research question was how to enable fast, scalable bi-encoders to understand complex instructions.
Основной исследовательский вопрос состоял в том, как сделать быстрые масштабируемые bi-encoder'ы способными понимать сложные инструкции.
The missing ingredient was training data. Existing retrieval datasets like MSMARCO lack instructions because users don’t type them into traditional search engines. Creating a new dataset with instruction-based queries was necessary to teach the model this capability.
Недостающим ингредиентом были обучающие данные. Существующие датасеты для ретривала, такие как MSMARCO, не содержат инструкций, потому что пользователи не вводят их в традиционные поисковики. Чтобы научить модель этой способности, требовалось создать новый датасет с запросами на основе инструкций.
This slide illustrates the process of generating the training data, starting with a standard query. The process uses an existing query-document pair from a standard dataset.
Этот слайд иллюстрирует процесс генерации обучающих данных, начиная со стандартного запроса. Процесс использует существующую пару «запрос-документ» из стандартного датасета.
The core of the data generation is to use a LLM to look at the query and the relevant document and synthetically generate a detailed instruction that makes the relevance criteria more specific. A crucial part of this process was also generating instruction negatives, which are documents that are relevant to the query but irrelevant to the instruction, forcing the model to pay attention to the new constraints.
Суть генерации данных в том, чтобы использовать LLM, которая смотрит на запрос и релевантный документ и синтетически генерирует подробную инструкцию, делающую критерии релевантности более конкретными. Важной частью этого процесса было также создание instruction negatives — документов, релевантных запросу, но не релевантных инструкции, что заставляет модель обращать внимание на новые ограничения.
To ensure a fair comparison, they started with the training recipe from RepLLaMA, an existing model that fine-tunes LLaMA-2 for retrieval, and only added their new instruction-based training data.The evaluation was comprehensive, testing on in-domain data (MSMARCO), new instruction-following datasets, and out-of-domain datasets to measure generalization.
Для обеспечения честного сравнения они начали с обучающего рецепта RepLLaMA — существующей модели, дообученной из LLaMA-2 для ретривала, и добавили только свои новые обучающие данные на основе инструкций. Оценка была всесторонней: тестирование на in-domain данных (MSMARCO), на новых датасетах для следования инструкциям и на out-of-domain датасетах для измерения обобщающей способности.
This slide introduces the two key instruction-following datasets for evaluation.
Этот слайд представляет два ключевых датасета для оценки следования инструкциям.
The first is FollowIR, where queries are modified with clarifying instructions. The p-MRR metric measures the ability to adapt, with positive scores indicating successful instruction following.
Первый — FollowIR, где запросы модифицируются уточняющими инструкциями. Метрика p-MRR измеряет способность адаптироваться: положительные значения означают успешное следование инструкциям.
The second is InstructIR, which associates queries with user personas (e.g., student, professional). The model must understand the persona’s implicit needs to retrieve appropriate documents.
Второй — InstructIR, который связывает запросы с пользовательскими персонами (например, студент, профессионал). Модель должна понимать неявные потребности персоны, чтобы извлекать подходящие документы.
This slide introduces the experiment results.
Этот слайд представляет результаты экспериментов.
On FollowIR, the baseline RepLLaMA (and all prior embedding models) scored negatively, performing worse when given an instruction. Promptriever is the first to achieve a positive score, demonstrating that bi-encoders can learn to follow instructions.
На FollowIR базовая модель RepLLaMA (и все предшествующие embedding-модели) получили отрицательный результат, показывая худшие результаты при наличии инструкции. Promptriever — первая модель, получившая положительный результат, демонстрируя, что bi-encoder'ы могут научиться следовать инструкциям.
On InstructIR, Promptriever again significantly outperforms the baseline by understanding the nuanced needs of different user personas.
На InstructIR Promptriever снова значительно превосходит базовую модель, понимая нюансированные потребности разных пользовательских персон.
How do these models perform on standard datasets without pre-defined instructions?
Как эти модели работают на стандартных датасетах без заранее заданных инструкций?
When evaluating on standard data, what prompt should be used?
При оценке на стандартных данных какой промпт следует использовать?
The first option is using no prompt, the standard for evaluating existing retrieval models.
Первый вариант — не использовать промпт; это стандарт для оценки существующих моделей ретривала.
The second option, unique to instruction-following models, is to experiment with generic prompts (e.g., “Find the most relevant document”) and use the best-performing one, a form of prompt engineering for retrieval.
Второй вариант, уникальный для моделей с поддержкой инструкций, — экспериментировать с обобщёнными промптами (например, «Найди наиболее релевантный документ») и использовать самый эффективный, что является своего рода prompt engineering для ретривала.
This slide shows generic prompts created to encourage more careful retrieval, such as “Be careful when assigning relevance as your job is on the line.”
Этот слайд показывает обобщённые промпты, созданные для поощрения более тщательного ретривала, например: «Будь осторожен при назначении релевантности, твоя работа на кону».
This slide introduces the BEIR benchmark for out-of-domain (OOD) generalization.
Этот слайд представляет бенчмарк BEIR для оценки out-of-domain (OOD) обобщения.
Without a prompt, Promptriever performs comparably to the RepLLaMA baseline, showing that instruction-following capabilities don’t hurt performance on traditional tasks.
Без промпта Promptriever работает сопоставимо с базовой моделью RepLLaMA, показывая, что способность следовать инструкциям не ухудшает производительность на традиционных задачах.
When a generic instruction is added, Promptriever’s performance increases significantly, while the baseline’s degrades slightly. This demonstrates that Promptriever’s retrieval strategy can be controlled with natural language.
Когда добавляется обобщённая инструкция, производительность Promptriever значительно возрастает, в то время как у базовой модели слегка снижается. Это демонстрирует, что стратегией ретривала Promptriever можно управлять с помощью естественного языка.
The Promptriever paper calls this zero-shot hyperparameter optimization via prompting. Instead of tweaking numerical settings like a relevance threshold, one can change the model’s behavior by tweaking the natural language prompt. An instruction like “find documents with high recall” causes the model to adjust its internal strategy to retrieve a broader set of results because it has been trained to understand the intent behind such commands.
Статья о Promptriever называет это zero-shot оптимизацией гиперпараметров через промптинг. Вместо подстройки числовых параметров, таких как порог релевантности, можно изменить поведение модели, изменив естественно-языковой промпт. Инструкция вроде «найди документы с высоким recall» заставляет модель скорректировать свою внутреннюю стратегию для извлечения более широкого набора результатов, поскольку она была обучена понимать намерение за такими командами.
To test if the model understands the meaning of prompts, they measured the standard deviation of performance across 10 paraphrased versions of the same prompt. Promptriever shows much lower variance than keyword-based (BM25) or standard semantic models (RepLLaMA). This indicates it is robust to wording changes and understands the underlying intent, rather than just matching keywords.
Чтобы проверить, понимает ли модель смысл промптов, было измерено стандартное отклонение производительности на 10 перефразированных версиях одного и того же промпта. Promptriever показывает значительно меньшую дисперсию, чем модели на основе ключевых слов (BM25) или стандартные семантические модели (RepLLaMA). Это указывает на то, что она устойчива к изменениям формулировки и понимает основное намерение, а не просто сопоставляет ключевые слова.
This slide summarizes takeaways from the Promptriever research:
Этот слайд резюмирует выводы исследования Promptriever:
При правильных обучающих данных даже быстрые bi-encoder ретриверы можно сделать промптируемыми, как более крупные LLM. Это открывает новые типы запросов, основанные на мета-свойствах, таких как стиль, тональность или логические ограничения. Пользователям больше не нужно подбирать ключевые слова — они могут сказать модели на естественном языке, что им нужно.
The focus now shifts to Rank1, the reasoning-based model. The associated paper’s title is “Rank1: Test-Time Compute for Information Retrieval,” highlighting its focus on reasoning in the reranking stage.
Теперь фокус смещается на Rank1, модель на основе рассуждений. Соответствующая статья называется «Rank1: Test-Time Compute for Information Retrieval», подчёркивая её фокус на рассуждении на этапе реранкинга.
Rank1 is a Cross-Encoder, processing the query and document together for a powerful but slower relevance judgment.
Rank1 — это Cross-Encoder, обрабатывающий запрос и документ совместно для мощной, но более медленной оценки релевантности.
Rank1 leverages Test-Time Compute, where the model generates a reasoning trace to arrive at its decision.
Rank1 использует Test-Time Compute, при котором модель генерирует цепочку рассуждений, чтобы прийти к решению.
The chart on the right (from OpenAI’s o1 model) shows that as you increase the amount of computation (reasoning chain length), model accuracy on complex tasks increases dramatically.
График справа (из модели o1 от OpenAI) показывает, что при увеличении объёма вычислений (длины цепочки рассуждений) точность модели на сложных задачах резко возрастает.
This slide shows what the reasoning process looks like in information retrieval. Given a query and a document, the model is asked to determine relevance. The model generates a detailed reasoning trace, identifying key phrases, analyzing the relationship between query and document, and questioning its own interpretations (“But wait…”). It uses this step-by-step reasoning to arrive at a final false judgment.
Этот слайд показывает, как выглядит процесс рассуждения в information retrieval. По запросу и документу модель должна определить релевантность. Модель генерирует подробную цепочку рассуждений, выявляя ключевые фразы, анализируя связь между запросом и документом и подвергая сомнению собственные интерпретации («But wait…»). Она использует это пошаговое рассуждение, чтобы прийти к окончательному вердикту false.
The talk now moves to the evaluation data for Rank1.
Доклад переходит к данным для оценки Rank1.
The primary evaluation dataset is BRIGHT, designed to test deep reasoning with unique relevance definitions that go beyond topic matching, such as finding a math problem that uses the same theorem.
Основной датасет для оценки — BRIGHT, разработанный для тестирования глубокого рассуждения с уникальными определениями релевантности, выходящими за рамки сопоставления тем, например, поиск математической задачи, использующей ту же теорему.
This slide shows Rank1’s reasoning on a LeetCode problem. Asked to find a similar problem, it correctly identifies the core “two-pointer approach” algorithm in the provided document and recognizes that the candidate document also uses the same technique, demonstrating a deep, algorithmic level of understanding.
Этот слайд показывает рассуждение Rank1 на задаче LeetCode. На просьбу найти похожую задачу модель правильно определяет ключевой алгоритм «two-pointer approach» в предоставленном документе и распознаёт, что документ-кандидат также использует ту же технику, демонстрируя глубокий, алгоритмический уровень понимания.
This slide introduces the Rank1 experiment results.
Этот слайд представляет результаты экспериментов Rank1.
The evaluation covers tasks testing reasoning (BRIGHT), negation (NevIR), and instruction following (mFollowIR). The baseline model, RankLLaMA, was trained on 10 times more data than Rank1. Despite being trained on far less data, Rank1 nearly doubles the performance of the baseline on the BRIGHT reasoning benchmark.
Оценка охватывает задачи на тестирование рассуждений (BRIGHT), отрицаний (NevIR) и следования инструкциям (mFollowIR). Базовая модель RankLLaMA была обучена на в 10 раз большем объёме данных, чем Rank1. Несмотря на обучение на гораздо меньшем количестве данных, Rank1 почти удваивает производительность базовой модели на бенчмарке BRIGHT.
On the NevIR negation task, the gain is even more dramatic, with Rank1 more than doubling the baseline’s score.
На задаче отрицания NevIR прирост ещё более внушительный — Rank1 более чем удваивает результат базовой модели.
The trend continues on the mFollowIR instruction-following task, where Rank1 again more than doubles the baseline’s performance.
Тенденция продолжается на задаче следования инструкциям mFollowIR, где Rank1 снова более чем удваивает производительность базовой модели.
To isolate the impact of the reasoning chain, they compared training the same model on the same data, with and without the “thinking” part of the training examples. The results show that training the model to generate the reasoning chain leads to a massive 10-point gain in performance. The act of “thinking” itself unlocks these advanced capabilities.
Чтобы изолировать влияние цепочки рассуждений, они сравнили обучение одной и той же модели на одних и тех же данных с включением и без включения «мыслительной» части обучающих примеров. Результаты показывают, что обучение модели генерации цепочки рассуждений даёт огромный прирост в 10 пунктов производительности. Сам акт «мышления» открывает эти продвинутые возможности.
Orion shares a story about evaluating on older, widely-used datasets.
Орион делится историей об оценке на более старых, широко используемых датасетах.
They were surprised by low scores on the DL19/DL20 datasets, discovering their model was finding many documents that had never been judged by human annotators because older systems had never retrieved them. Initial scores showed Rank1 performing worse than expected, below models like RankLLaMA and MonoT5.
Они были удивлены низкими результатами на датасетах DL19/DL20, обнаружив, что их модель находит множество документов, которые никогда не оценивались разметчиками, потому что более старые системы их никогда не извлекали. Начальные оценки показали, что Rank1 работает хуже ожидаемого, уступая моделям вроде RankLLaMA и MonoT5.
The research team manually re-judged all previously unjudged documents retrieved by their models. After re-judging, Rank1’s score increased significantly, making it the top-performing model.
Исследовательская команда вручную переразметила все ранее неразмеченные документы, извлечённые их моделями. После переразметки результат Rank1 значительно вырос, сделав её лидирующей моделью.
Reasoning-based models are not just improving scores on old benchmarks; they are finding new, relevant documents that previous systems missed. This also suggests the IR community should move on from older evaluation datasets (DL19 was created before BERT) as they may not be equipped to measure modern model capabilities.
Модели на основе рассуждений не просто улучшают результаты на старых бенчмарках — они находят новые релевантные документы, которые предыдущие системы пропустили. Это также наводит на мысль, что IR-сообществу пора отказаться от более старых датасетов для оценки (DL19 был создан до BERT), поскольку они могут быть не приспособлены для измерения возможностей современных моделей.
The takeaway is that test-time compute (reasoning) allows for creating promptable and reasoning rerankers using simple supervised fine-tuning, without complex reinforcement learning. These reasoning rerankers are slower than traditional methods but vastly more powerful. The performance gains shown were achieved by training only on general web data. Fine-tuning on in-domain data would likely unlock more significant improvements.
Вывод в том, что test-time compute (рассуждение) позволяет создавать промптируемые и рассуждающие реранкеры с помощью простого supervised fine-tuning, без сложного обучения с подкреплением. Эти рассуждающие реранкеры медленнее традиционных методов, но значительно мощнее. Показанный прирост производительности был достигнут при обучении только на общих веб-данных. Дообучение на in-domain данных, вероятно, открыло бы ещё более значительные улучшения.
This slide recaps the two models: Promptriever is fast, while Rank1 is strong but slow.
Этот слайд резюмирует две модели: Promptriever — быстрая, Rank1 — мощная, но медленная.
Orion concludes that the overall goal is to create IR systems that work like LLMs, capable of handling queries that combine topic, style, and behavioral instructions.
Орион заключает, что общая цель — создать IR-системы, работающие как LLM, способные обрабатывать запросы, сочетающие тему, стиль и поведенческие инструкции.
What are the practical implications? New retrievers can directly benefit from rapid LLM advancements. As LLMs get better at reasoning and instruction following, so will the retrieval systems built upon them. This enables instruction-based search, meaning any query a user can type, no matter how complex, can be understood and executed by the search system.
Каковы практические последствия? Новые ретриверы могут напрямую выигрывать от стремительного прогресса LLM. По мере того как LLM становятся лучше в рассуждении и следовании инструкциям, такими же будут становиться и построенные на них системы ретривала. Это делает возможным поиск на основе инструкций — то есть любой запрос, который пользователь может ввести, каким бы сложным он ни был, может быть понят и выполнен поисковой системой.
Orion concludes by emphasizing that all models and data from his research are open-source and available.
Орион завершает доклад, подчёркивая, что все модели и данные из его исследования являются open-source и общедоступны.
Q&A Session
Сессия вопросов и ответов
- (Timestamp: 23:45) The instruction is only applied to the query at inference time. The documents are pre-processed into embeddings without any instruction. This way, you can batch-process your entire corpus once, and then at query time, you append the user’s instruction to their query to generate a single, instruction-aware query embedding for the search.
- (Timestamp: 26:04) Yes, absolutely. Orion mentions they have other work that explores this, and the concepts are applicable to rerankers as well. The paper for the FollowIR benchmark, for example, includes work on instruction-based rerankers.
- (Timestamp: 26:32) Both are possible and interesting. For a “deep research” system, an LLM agent could generate precise, detailed instructions to guide the retrieval process. For end-user applications, a “power user” could type in these complex instructions directly to get more fine-grained control over their search results.
- (Timestamp: 28:04) There is still a performance gap. On some benchmarks, a model like OpenAI’s
o3might score around 75, while the 7B parameter Rank1 model scores around 69. However, Rank1 is significantly smaller (7B vs. a much larger frontier model), faster, and fully open-source, making it ideal for applications with private data or where cost and latency are concerns.
- (Timestamp: 30:30) It’s surprisingly easy. The training process uses a standard supervised fine-tuning approach (predict-the-next-token loss) on reasoning traces. The Rank1 paper notes that the model generalizes remarkably well even without in-domain training, but fine-tuning on a specific dataset is straightforward and would likely lead to large performance gains.
- (Timestamp: 31:32) The model learns to reason effectively through distillation, a process where it is trained on the reasoning chains generated by a more powerful model (in this case, Deepseek’s R1). By learning to mimic the step-by-step “thought process” of the stronger model, it acquires reasoning abilities using a simple and stable supervised fine-tuning objective. This is so effective that it removes the need for more complex RL techniques. Orion speculates this is why major companies have stopped exposing the full reasoning chains of their models, since they are incredibly valuable as training data.
Как Promptriever работает с запросами в сравнении с документами? (Тайм-код: 23:45) Инструкция применяется только к запросу во время инференса. Документы предварительно обрабатываются в эмбеддинги без каких-либо инструкций. Таким образом, можно один раз пакетно обработать весь корпус, а затем во время запроса добавлять инструкцию пользователя к его запросу, чтобы сгенерировать единый, осведомлённый об инструкции эмбеддинг запроса для поиска. Можно ли применять подход на основе инструкций к cross-encoder'ам (реранкерам)? (Тайм-код: 26:04) Да, безусловно. Орион упоминает, что у них есть другие работы, исследующие это, и концепции применимы и к реранкерам. Статья о бенчмарке FollowIR, например, включает работу о реранкерах на основе инструкций. Кто предоставляет мета-инструкции для поиска? Люди или LLM? (Тайм-код: 26:32) Оба варианта возможны и интересны. Для системы «глубокого исследования» LLM-агент мог бы генерировать точные, подробные инструкции, направляющие процесс ретривала. Для пользовательских приложений «опытный пользователь» мог бы вводить эти сложные инструкции напрямую, чтобы получить более детальный контроль над результатами поиска. Как Rank1 сравнивается с frontier-моделями рассуждений, такими как у OpenAI? (Тайм-код: 28:04) Разрыв в производительности всё ещё есть. На некоторых бенчмарках модель вроде o3 от OpenAI может получать около 75 баллов, в то время как 7B-параметрическая Rank1 — около 69. Однако Rank1 значительно меньше (7B против гораздо более крупной frontier-модели), быстрее и полностью open-source, что делает её идеальной для приложений с приватными данными или там, где важны стоимость и латентность. Насколько легко обучить Rank1 на пользовательском датасете? (Тайм-код: 30:30) Удивительно легко. Процесс обучения использует стандартный подход supervised fine-tuning (loss предсказания следующего токена) на цепочках рассуждений. В статье о Rank1 отмечается, что модель замечательно хорошо обобщается даже без in-domain обучения, но дообучение на конкретном датасете несложно и, вероятно, приведёт к большим приростам производительности. Почему supervised fine-tuning (SFT) работает для модели рассуждений вместо обучения с подкреплением (RL)? (Тайм-код: 31:32) Модель учится эффективно рассуждать через дистилляцию — процесс, при котором она обучается на цепочках рассуждений, сгенерированных более мощной моделью (в данном случае R1 от Deepseek). Учась имитировать пошаговый «мыслительный процесс» более сильной модели, она приобретает способности к рассуждению с помощью простой и стабильной цели supervised fine-tuning. Это настолько эффективно, что устраняет необходимость в более сложных RL-техниках. Орион предполагает, что именно поэтому крупные компании перестали раскрывать полные цепочки рассуждений своих моделей, поскольку они невероятно ценны как обучающие данные.
👉 These are the kinds of things we cover in our AI Evals course. You can learn more about the course here. 👈
👉 Подобные вещи мы рассматриваем на нашем курсе AI Evals. Узнать больше о курсе можно здесь. 👈
Video
Видео
Here is the full video:
Полное видео: