P5: RAG with Multiple Representations – Hamel’s Blog - Hamel Husain
В заключительной, пятой части мини-серии курса LLM Evals Хамел Хусейн пригласил Брайана Бишофа (Bryan Bischof) и Аюша Чаурасию (Ayush Chaurasia), которые утверждают: эффективный поиск состоит не в нахождении единственного идеального представления данных, а в создании множества разнообразных представлений с маршрутизатором, лучше отвечающим намерению пользователя. Они деконструируют модные термины RAG (Naive, Agentic, Hybrid, Graph, Multi-Modal) до базовых инженерных конвейеров: HyDE — обогащение документов, Agentic RAG — обогащение запросов, rank fusion — многоэтапная обработка. Три обязанности IR-инженера: предсказать намерение, сгенерировать множество представлений («карт») и сопоставить намерение с нужным представлением. Подчёркивается, что представления должны эволюционировать, поскольку документы динамичны, а статичные эмбеддинги устаревают. Аюш демонстрирует приложение semanticdotart для поиска произведений искусства, где запросы (буквальное или поэтическое описание, изображение) агентно маршрутизируются к подходящим индексам с многоэтапной обработкой и rank fusion. В сессии Q&A обсуждаются reasoning-модели, late-interaction модели вроде ColBERT и роль маршрутизации как классификатора.
As part of our LLM Evals course, I hosted Bryan Bischof and Ayush Chaurasia for the final part of our 5-part mini-series on evaluating and optimizing RAG. They argued that effective retrieval lies not in finding a single, perfect data representation, but in creating and leveraging multiple, diverse representations with a router to better serve user intent, a concept they demonstrate with semantic dot art.
В рамках нашего курса LLM Evals я пригласил Bryan Bischof и Ayush Chaurasia для заключительной части нашей мини-серии из пяти частей об оценке и оптимизации RAG. Они утверждали, что эффективный поиск состоит не в нахождении единственного идеального представления данных, а в создании и использовании множества разнообразных представлений с маршрутизатором, который лучше отвечает намерению пользователя, — концепция, которую они демонстрируют на примере semantic dot art.
Below is an annotated version of their presentation, with timestamped links for each slide.
Ниже приведена аннотированная версия их презентации со ссылками с тайм-кодами для каждого слайда.
👉 These are the kinds of things we cover in our AI Evals course. You can learn more about the course here. 👈
👉 Именно такие вещи мы разбираем в нашем курсе AI Evals. Узнать больше о курсе можно здесь. 👈
Annotated Presentation
Аннотированная презентация
The Map is Not the Territory
Карта — это не территория
The presentation’s central theme is that a “map” (a data representation) is not the same as the “territory” (the real-world data). In machine learning, this distinction is an advantage. Models and embeddings are our maps, and we can create many different maps of the same territory to serve different purposes.
Центральная тема презентации в том, что «карта» (представление данных) — это не то же самое, что «территория» (реальные данные). В машинном обучении это различие является преимуществом. Модели и эмбеддинги — это наши карты, и мы можем создавать множество разных карт одной и той же территории для разных целей.
Deconstructing RAG Buzzwords
Разбираем модные слова RAG
The RAG landscape is filled with terms that can obscure fundamental principles. These terms can be deconstructed into simpler concepts.
Ландшафт RAG наполнен терминами, которые могут затмевать фундаментальные принципы. Эти термины можно разложить на более простые понятия.
Naive RAG is better understood as Simple RAG: the foundational approach of searching a vector store with a vector to find similar items.
Naive RAG лучше понимать как Simple RAG: базовый подход поиска похожих элементов в векторном хранилище с помощью вектора.
Agentic RAG involves an LLM choosing how to search, giving the impression that the model can remove the engineer from designing the retrieval pipeline.
Agentic RAG предполагает, что LLM сама выбирает, как искать, создавая впечатление, будто модель может убрать инженера из проектирования конвейера поиска.
Hybrid RAG combines Simple RAG with classic retrieval techniques like keyword matching, allowing for searches with multiple signals simultaneously.
Hybrid RAG сочетает Simple RAG с классическими техниками поиска, такими как сопоставление по ключевым словам, что позволяет вести поиск одновременно по нескольким сигналам.
Graph RAG uses the relationships between objects to improve retrieval, such as identifying stores that sell “home goods” to find a coffee filter, also considering proximity.
Graph RAG использует связи между объектами для улучшения поиска — например, выявление магазинов, продающих «товары для дома», чтобы найти кофейный фильтр, а также учитывая близость.
Multi-Modal RAG has two meanings: searching with multiple data types (text and images) or searching across multiple locations (“modes”) within the same latent space for a single item.
Multi-Modal RAG имеет два значения: поиск по нескольким типам данных (текст и изображения) или поиск по нескольким местоположениям («модам») в одном и том же латентном пространстве для одного элемента.
All these techniques are different approaches to the same problem and could have been invented from first principles.
Все эти техники — разные подходы к одной и той же проблеме, и их можно было бы изобрести из первых принципов.
A First-Principles View of RAG
Взгляд на RAG из первых принципов
Advanced RAG techniques can be reframed as core engineering pipelines.
Продвинутые техники RAG можно переосмыслить как базовые инженерные конвейеры.
Hypothetical Document Embeddings (HyDE) is a document enrichment pipeline. It uses an LLM to rewrite documents into the language that users are likely to search with. A dense, technical document can be rewritten into a simpler description, creating a new, more searchable “map” of the original.
Hypothetical Document Embeddings (HyDE) — это конвейер обогащения документов. Он использует LLM, чтобы переписать документы на язык, которым пользователи, вероятно, будут искать. Плотный технический документ можно переписать в более простое описание, создав новую, более удобную для поиска «карту» оригинала.
Agentic RAG is a query enrichment pipeline. When a query is ambiguous, an agent decides how to search. For example, it determines whether “V60 filter” refers to a product or a restaurant, routing the query to the correct search process.
Agentic RAG — это конвейер обогащения запросов. Когда запрос неоднозначен, агент решает, как искать. Например, он определяет, относится ли «V60 filter» к продукту или к ресторану, направляя запрос к правильному процессу поиска.
Rank fusion is multi-stage processing. It involves running multiple different searches and then combining, or “stitching,” the results together in a subsequent stage.
Rank fusion — это многоэтапная обработка. Она предполагает запуск нескольких разных поисков, а затем объединение, или «сшивание», результатов на последующем этапе.
The Three Responsibilities of an IR Engineer
Три обязанности IR-инженера
These advanced techniques can be derived by focusing on three core responsibilities.
Эти продвинутые техники можно вывести, сосредоточившись на трёх ключевых обязанностях.
Предсказать намерение пользователя: Каково наиболее вероятное представление того, что ищет пользователь?
Сгенерировать множество представлений (карт): Заранее создать разные виды исходных данных (обогащение документов).
Сопоставить намерение с представлением: Правильно сопоставить запрос пользователя с подходящим заранее сгенерированным представлением.
Practical Application: Curving Space
Практическое применение: искривление пространства
“Curving space” means shaping data representations and indices to improve search.
«Искривление пространства» означает формирование представлений данных и индексов для улучшения поиска.
For financial documents, one could create multiple “maps” from a single corpus, such as summaries, tables of data, lists of named entities, and form types. This is document enrichment.
Для финансовых документов можно создать множество «карт» из одного корпуса — например, сводки, таблицы данных, списки именованных сущностей и типы форм. Это и есть обогащение документов.
Once multiple representations exist, the right indexing strategy must be chosen for each. This involves deciding between semantic search, keyword matching, pre-filters, and whether to use a single index or separate ones.
Когда существует несколько представлений, для каждого нужно выбрать правильную стратегию индексирования. Это предполагает выбор между семантическим поиском, сопоставлением по ключевым словам, предварительными фильтрами, а также решение о том, использовать ли единый индекс или отдельные.
Sometimes, a second retrieval step, informed by the first, is required. This is a form of staged processing.
Иногда требуется второй этап поиска, опирающийся на результаты первого. Это форма поэтапной обработки.
Agents as Routers
Агенты как маршрутизаторы
Agents are transformers in their function: they transform incoming data and instructions into a structured output.
По своей функции агенты — это трансформеры: они преобразуют входящие данные и инструкции в структурированный вывод.
An effective way to use agents is as routers. They take incoming data and route it to different indices or subsequent retrieval stages. This is the core idea behind both Agentic RAG and Multi-Agent RAG.
Эффективный способ использовать агентов — в роли маршрутизаторов. Они берут входящие данные и направляют их к разным индексам или последующим этапам поиска. Это и есть ключевая идея, лежащая в основе как Agentic RAG, так и Multi-Agent RAG.
Representations Must Evolve
Представления должны эволюционировать
A significant danger in RAG is that documents are dynamic. A static embedding will become outdated as the context of a document changes based on new business or world events.
Серьёзная опасность в RAG в том, что документы динамичны. Статичный эмбеддинг устареет по мере того, как контекст документа меняется под влиянием новых бизнес- или мировых событий.
The solution is to design a system that can detect what has changed and re-index only those parts, requiring an architecture built for dynamic updates.
Решение — спроектировать систему, способную обнаруживать, что изменилось, и переиндексировать только эти части, что требует архитектуры, рассчитанной на динамические обновления.
Demo: Semantic Dot Art
Демо: Semantic Dot Art
To make these concepts concrete, Ayush Chaurasia demonstrated semanticdotart, an application for discovering artworks. The demo shows how a system can serve diverse user intents by creating and searching over multiple representations of the same underlying data.
Чтобы сделать эти концепции наглядными, Ayush Chaurasia продемонстрировал semanticdotart — приложение для поиска произведений искусства. Демо показывает, как система может обслуживать разнообразные намерения пользователей, создавая и проводя поиск по множеству представлений одних и тех же базовых данных.
A user can search for art using different “maps” of the data. For example, they can search with a literal description (“multiple clocks melting in a desert”), a poetic description, or even a similar image. The system retrieves not only the original artwork but also derivative pieces and other thematically related works. This is made possible by a rich document enrichment pipeline that creates multiple vector and keyword-based indices for each artwork, capturing everything from mood and style to literal object descriptions.
Пользователь может искать искусство, используя разные «карты» данных. Например, он может искать по буквальному описанию («множество часов, тающих в пустыне»), по поэтическому описанию или даже по похожему изображению. Система извлекает не только оригинальное произведение, но и производные работы, а также другие тематически связанные. Это становится возможным благодаря богатому конвейеру обогащения документов, который создаёт для каждого произведения множество векторных и основанных на ключевых словах индексов, охватывая всё — от настроения и стиля до буквальных описаний объектов.
The retrieval process is agentic. The system routes the user’s query to the most appropriate index or combination of indices. A poetic query might be routed to an index of artistic descriptions, while an image query would use a multimodal embedding. This dynamic routing, combined with multi-stage processing and rank fusion, allows the system to handle a wide variety of user needs and deliver more satisfying, diverse results.
Процесс поиска агентный. Система направляет запрос пользователя к наиболее подходящему индексу или комбинации индексов. Поэтический запрос может быть направлен к индексу художественных описаний, тогда как запрос по изображению будет использовать мультимодальный эмбеддинг. Эта динамическая маршрутизация в сочетании с многоэтапной обработкой и rank fusion позволяет системе обрабатывать самые разные потребности пользователей и выдавать более удовлетворяющие и разнообразные результаты.
System Diagrams
Диаграммы системы
Ayush then described the system he demoed in more detail.
Затем Аюш более подробно описал систему, которую он демонстрировал.
The “Represent!” diagram visualizes the document enrichment pipeline. Data from various sources is processed to extract different features (poem captions, NL captions, mood keywords, image content). These are embedded into different vector types and stored, creating multiple “maps” for the same territory.
Диаграмма «Represent!» визуализирует конвейер обогащения документов. Данные из различных источников обрабатываются для извлечения разных признаков (поэтические подписи, подписи на естественном языке, ключевые слова настроения, содержимое изображения). Они встраиваются в разные типы векторов и сохраняются, создавая множество «карт» для одной и той же территории.
The “Discover!” diagram shows the retrieval pipeline. User input is routed through various stages where it can be enriched (e.g., mood extraction, query rewriting). These enriched queries are then used in a multi-stage retrieval process involving pre-filtering and hybrid search before final reranking.
Диаграмма «Discover!» показывает конвейер поиска. Ввод пользователя проходит через различные этапы, где он может обогащаться (например, извлечение настроения, переписывание запроса). Эти обогащённые запросы затем используются в многоэтапном процессе поиска, включающем предварительную фильтрацию и гибридный поиск перед финальным реранкингом.
Q&A Session
Сессия вопросов и ответов
Why do people often think there’s only one “map” (representation) for their data? (Timestamp: 32:41) People often seek a single “best” representation. When it fails, the instinct is to fix it rather than augment it with new, different representations. A better mindset for retrieval is to build and use many specialized “maps” of your data, similar to owning different bicycles for different terrains. Modern models make this easier by helping route queries to the correct map.
How do Reasoning Models and Late-Interaction Models (like ColBERT) fit into this “multiple maps” framework? (Timestamp: 35:45) They fit well. Reasoning models are a form of query enrichment, rewriting confusing queries with necessary context. Late-interaction models like ColBERT create diversity within the model itself by generating multiple representations (a vector for each token) for a single document. This creates different “modes” in the latent space for more diverse and nuanced search results.
What is routing in this context, and is it just a classifier? (Timestamp: 42:31) Routing is a retrieval stage where you decide which process or index to use based on the query. For a small number of routes, an LLM can act as a simple classifier (e.g., via a tool call). As the number of routes grows, a dedicated, trained classifier becomes more appropriate. LLMs are good for proving the concept of semantic routing, but for scalable classification, a fine-tuned model is a better approach.
Почему люди часто думают, что для их данных есть лишь одна «карта» (представление)? (Тайм-код: 32:41) Люди часто ищут единственное «лучшее» представление. Когда оно не срабатывает, инстинкт — починить его, а не дополнить новыми, иными представлениями. Лучший подход к поиску — создавать и использовать много специализированных «карт» ваших данных, подобно тому как держишь разные велосипеды для разных типов местности. Современные модели упрощают это, помогая направлять запросы к правильной карте. Как reasoning-модели и late-interaction модели (вроде ColBERT) вписываются в эту концепцию «множества карт»? (Тайм-код: 35:45) Вписываются хорошо. Reasoning-модели — это форма обогащения запросов: они переписывают запутанные запросы, добавляя необходимый контекст. Late-interaction модели, такие как ColBERT, создают разнообразие внутри самой модели, генерируя множество представлений (вектор для каждого токена) для одного документа. Это создаёт разные «моды» в латентном пространстве для более разнообразных и нюансированных результатов поиска. Что такое маршрутизация в этом контексте, и не просто ли это классификатор? (Тайм-код: 42:31) Маршрутизация — это этап поиска, на котором вы решаете, какой процесс или индекс использовать на основе запроса. Для небольшого числа маршрутов LLM может выступать как простой классификатор (например, через вызов инструмента). По мере роста числа маршрутов более уместен становится выделенный, обученный классификатор. LLM хороши для подтверждения концепции семантической маршрутизации, но для масштабируемой классификации лучше подходит дообученная модель.
👉 These are the kinds of things we cover in our AI Evals course. You can learn more about the course here. 👈
👉 Именно такие вещи мы разбираем в нашем курсе AI Evals. Узнать больше о курсе можно здесь. 👈
Video
Видео
Here is the full video:
Вот полное видео: