P1: I don’t use RAG, I just retrieve documents – Hamel’s Blog - Hamel Husain
В рамках курса LLM Evals Хамел Хусейн пригласил исследователя поиска Бенжамина Клавье (Benjamin Clavié), создателя инструментов RAGatouille и rerankers, чтобы открыть мини-серию из пяти частей об оценке и оптимизации RAG. Бен оспаривает тезис «RAG мёртв», утверждая, что устарела лишь узкая и неверно понятая версия RAG из 2023 года — наивный одновекторный семантический поиск, тогда как сам принцип retrieval остаётся необходимым, ведь веса LLM заморожены во времени и не знают о новых данных. Он разбирает ограничения одновекторного поиска (потеря информации при сжатии в ~1000 измерений) и доказывает, что большие контекстные окна (например, 1M токенов у Gemini) не заменяют retrieval из-за стоимости и нехватки места. Лучший подход — комбинировать разные методы поиска: grep, wget, BM25, ColBERT, агентный и веб-поиск, рассуждения. Бен анонсирует следующих докладчиков: Nandan Thakur (бенчмарки и FreshStack), Orion Weller (рассуждения и поиск), Antoine Chaffin (late-interaction и ColPali) и Bryan Bischof с Ayush Chaurasia (мультимодальный поиск).
As part of our LLM Evals course, I hosted Benjamin Clavié to kick off a 5-part mini-series on evaluating and optimizing RAG. Ben is a retrieval researcher who has built widely used tools like RAGatouille and rerankers among other things. His talk focused on important developments in RAG and where you should be paying attention (late-interaction, reasoning, evals, multimodal, etc.).
В рамках нашего курса LLM Evals я пригласил Benjamin Clavié, чтобы открыть мини-серию из пяти частей об оценке и оптимизации RAG. Бен — исследователь поиска (retrieval), создавший такие широко используемые инструменты, как RAGatouille и rerankers, среди прочего. Его доклад был посвящён важным изменениям в RAG и тому, на что стоит обращать внимание (late-interaction, рассуждения, оценки, мультимодальность и т.д.).
Below is an annotated version of the presentation, with timestamped links for each slide.
Ниже представлена аннотированная версия презентации со ссылками на таймкоды для каждого слайда.
👉 These are the kinds of things we cover in our AI Evals course. You can learn more about the course here. 👈
👉 Именно такие вещи мы разбираем на нашем курсе AI Evals. Узнать больше о курсе можно здесь. 👈
Annotated Presentation
Аннотированная презентация
The cheeky title of the talk.
Дерзкое название доклада.
Ben introduces himself, noting his base in Musashino City, Japan (home of the Ghibli Museum). He currently does ML R&D at Answer.AI. He jokes about his widely-circulated profile picture, which he dubs “The Monopicture,” a single photo from five years ago that has taken on a life of its own. He also mentions his recent work on ModernBERT and niceties related to ColBERT, which he promises to discuss later.
Бен представляется, отмечая, что живёт в городе Мусасино, Япония (где находится Музей Гибли). Сейчас он занимается ML R&D в Answer.AI. Он шутит о своей широко разошедшейся фотографии профиля, которую называет «The Monopicture» — единственным снимком пятилетней давности, зажившим собственной жизнью. Он также упоминает свою недавнюю работу над ModernBERT и тонкости, связанные с ColBERT, о которых обещает рассказать позже.
Ben discusses the controversial idea that “RAG is dead.” Ben explains that the statement only applies to a very narrow, and often misunderstood, definition of RAG that was popularized by marketing efforts.
Бен обсуждает спорную идею о том, что «RAG мёртв». Он объясняет, что это утверждение применимо лишь к очень узкому и часто неверно понимаемому определению RAG, которое было популяризировано маркетингом.
The “RAG” that many people came to know in 2023: simplistic, single-vector semantic search approach may be obsolete. However, the underlying concept of retrieval is still relevant.
«RAG», который многие узнали в 2023 году: упрощённый одновекторный подход на основе семантического поиска, возможно, устарел. Однако сама лежащая в основе концепция retrieval по-прежнему актуальна.
Ben breaks down the acronym: Retrieval Augmented Generation. He points out that the original RAG paper actually described a process quite different from today’s common interpretation, but the name stuck. At its core, the pipeline is simple: you somehow retrieve documents and pass them to a generative model to augment its output. He argues that there will always be a need to provide models with external information they weren’t trained on.
Бен разбирает аббревиатуру: Retrieval Augmented Generation. Он отмечает, что в оригинальной статье о RAG на самом деле описывался процесс, заметно отличающийся от сегодняшнего общепринятого толкования, но название закрепилось. По сути, пайплайн прост: вы каким-то образом извлекаете документы и передаёте их генеративной модели, чтобы дополнить её вывод. Он утверждает, что всегда будет необходимость предоставлять моделям внешнюю информацию, на которой они не обучались.
This slide presents a standard, simplified LLM call: a prompt goes in, the LLM generates a response, and an output comes out. This is the baseline for understanding how RAG changes the process.
На этом слайде показан стандартный упрощённый вызов LLM: на вход подаётся промпт, LLM генерирует ответ, и на выходе получается результат. Это базовая схема для понимания того, как RAG меняет процесс.
With RAG, a new step is inserted: “Context Documents.” Ben emphasizes that the “how” of retrieving these documents doesn’t matter for the definition. If you’ve added external documents to the context window to augment the generation, you’re doing RAG. Even manually copy-pasting text into a prompt is, technically, a form of RAG.
С RAG добавляется новый шаг: «Контекстные документы». Бен подчёркивает, что «как именно» извлекаются эти документы — не важно для самого определения. Если вы добавили внешние документы в контекстное окно, чтобы дополнить генерацию, значит, вы используете RAG. Даже ручное копирование и вставка текста в промпт — технически тоже форма RAG.
Ben addresses the common argument that since tools like Claude Code don’t use “RAG,” RAG must be dead. What people often call “RAG” is a naive brute force, single-vector semantic search. This definition was pushed heavily by marketing in 2023-2024 because it was simple to sell. Claiming RAG is dead because we’re now using better retrieval tools is, in his words, “akin to claiming HTML is dead because we are now using CSS.”
Бен обращается к распространённому аргументу: раз такие инструменты, как Claude Code, не используют «RAG», значит, RAG мёртв. То, что люди часто называют «RAG», — это наивный полный перебор, одновекторный семантический поиск. Это определение активно продвигалось маркетингом в 2023–2024 годах, потому что его было просто продавать. Заявлять, что RAG мёртв, потому что мы теперь используем лучшие инструменты поиска, по его словам, «всё равно что заявлять, будто HTML мёртв, потому что мы теперь используем CSS».
Ben explains the limitations of single-vector search. It must compress the meaning of an entire document or chunk into a single, relatively small vector (e.g., ~1000 dimensions). This compression inevitably leads to information loss. The model is trained to prioritize information it assumes will be useful for matching queries to documents based on its training data (like Bing search data), which most likely does not look like your specific, domain-heavy data (e.g., a unique codebase). This mismatch is why general-purpose embedding models often struggle with specialized domains like code retrieval.
Бен объясняет ограничения одновекторного поиска. Он вынужден сжимать смысл целого документа или фрагмента в один сравнительно небольшой вектор (например, ~1000 измерений). Такое сжатие неизбежно приводит к потере информации. Модель обучена приоритизировать ту информацию, которую она считает полезной для сопоставления запросов с документами на основе обучающих данных (вроде данных поиска Bing), которые, скорее всего, не похожи на ваши специфические, насыщенные предметной областью данные (например, уникальную кодовую базу). Именно из-за этого несоответствия универсальные embedding-модели часто плохо справляются со специализированными областями, такими как поиск по коду.
Ben tackles the argument that massive context windows (e.g., Gemini’s 1M or hypothetical 10M token windows) make RAG obsolete. He uses an analogy: it’s like someone in 1999 claiming hard drives are dead because 512MB RAM sticks are coming soon. The reality is that even 10M tokens is a small amount of space for many enterprise knowledge bases or large datasets. Furthermore, the cost and inefficiency of stuffing everything into the context for every query makes it impractical.
Бен разбирает аргумент о том, что огромные контекстные окна (например, 1M токенов у Gemini или гипотетические 10M) делают RAG ненужным. Он приводит аналогию: это всё равно что кто-то в 1999 году заявлял бы, что жёсткие диски мертвы, ведь скоро появятся планки оперативной памяти на 512 МБ. На деле даже 10M токенов — это мало для многих корпоративных баз знаний или крупных наборов данных. Кроме того, стоимость и неэффективность того, чтобы запихивать всё в контекст для каждого запроса, делают это непрактичным.
Retrieval is never going away. LLM weights are frozen at a point in time. They don’t know about your new internal project, your updated company policy, or that “really cool new fasthtml library you want to try.” Training a model on every new piece of information is complex and inefficient. Ben argues we wouldn’t want models to store all this one-off information permanently anyway; we want their finite weight space to be used for intelligence, not just knowledge storage. Retrieval is necessary to inject this external, up-to-date information.
Retrieval никуда не денется. Веса LLM заморожены на определённый момент времени. Они не знают о вашем новом внутреннем проекте, об обновлённой политике компании или о той «реально классной новой библиотеке fasthtml, которую вы хотите попробовать». Обучать модель на каждом новом фрагменте информации сложно и неэффективно. Бен утверждает, что мы и сами не захотели бы, чтобы модели навсегда хранили всю эту разовую информацию; мы хотим, чтобы их ограниченное пространство весов использовалось для интеллекта, а не просто для хранения знаний. Retrieval необходим, чтобы вводить эту внешнюю, актуальную информацию.
Ben summarizes takeaways so far: - RAG isn’t going away. - Naive methods (like basic cosine similarity) are showing their limits, pushing us toward better, more sophisticated retrieval techniques. - RAG is the best way to provide models with up-to-date information. - Long context windows are not a replacement for retrieval. The Venn diagram illustrates that what’s “dead” is the oversimplified idea of brute-forcing everything with a single vector, not RAG generally.
Бен подводит итоги сказанному: - RAG никуда не денется. - Наивные методы (вроде базовой косинусной близости) показывают свои пределы, подталкивая нас к более совершенным и продвинутым техникам поиска. - RAG — лучший способ предоставить моделям актуальную информацию. - Длинные контекстные окна не заменяют retrieval. Диаграмма Венна показывает, что «мёртвой» оказалась упрощённая идея перебора всего одним вектором, а не RAG в целом.
Classic Ben - more surprises coming!
Классический Бен — впереди ещё сюрпризы!
There is more to discuss re: better retrieval methods.
Есть что ещё обсудить по поводу более совершенных методов поиска.
Ben returns to his analogy. While more RAM didn’t kill hard drives, SSDs did (for consumers). An SSD is just a “better hard drive.” Similarly, what killed “2023 RAG” is simply better RAG (and concretely, better forms of retrieval).
Бен возвращается к своей аналогии. Хотя увеличение объёма оперативной памяти не убило жёсткие диски, это сделали SSD (для потребителей). SSD — это просто «лучший жёсткий диск». Аналогично, то, что убило «RAG образца 2023 года», — это попросту лучший RAG (а конкретнее — лучшие формы поиска).
To showcase the breadth of retrieval, Ben lists a variety of tools: grep, wget, agentic search, BM25, ColBERT, web search, and even reasoning. These are all valid retrieval methods. The best approach often involves using them in combination.
Чтобы показать всё многообразие поиска, Бен перечисляет различные инструменты: grep, wget, агентный поиск, BM25, ColBERT, веб-поиск и даже рассуждения. Всё это — допустимые методы поиска. Лучший подход зачастую предполагает их использование в сочетании.
Ben acknowledges the overwhelming landscape of retrieval techniques. It’s no longer the simple, one-trick pony it was once marketed as. To help navigate this, he introduces the upcoming speakers who will cover specific “hot topics.”
Бен признаёт, что ландшафт техник поиска ошеломляет. Это уже не тот простой «фокус на одном трюке», каким его когда-то выставлял маркетинг. Чтобы помочь сориентироваться, он представляет следующих докладчиков, которые осветят конкретные «горячие темы».
The first guest expert introduced is Nandan Thakur. With thousands of retrieval approaches available, trustworthy benchmarks are important. However, popular benchmarks like BEIR and MTEB are now part of the training data for all base models, leading to data contamination and giving a weaker signal. Nandan, who led the design of BEIR, will discuss his new approaches to creating non-overfitted, trustable benchmarks, such as the continuously updated FreshStack.
Первый приглашённый эксперт — Nandan Thakur. Когда доступны тысячи подходов к поиску, надёжные бенчмарки очень важны. Однако популярные бенчмарки вроде BEIR и MTEB теперь входят в обучающие данные всех базовых моделей, что приводит к загрязнению данных и даёт более слабый сигнал. Nandan, руководивший разработкой BEIR, расскажет о своих новых подходах к созданию не переобученных, заслуживающих доверия бенчмарков, таких как непрерывно обновляемый FreshStack.
(Next up is Orion Weller, who researches the intersection of reasoning and retrieval. How does retrieval fit into a world where models can “ramble on about their thoughts”? Orion will explore whether retrievers can think or use the reasoning of other models to improve performance.
Следующий — Orion Weller, который исследует пересечение рассуждений и поиска. Как retrieval вписывается в мир, где модели могут «разглагольствовать о своих мыслях»? Orion изучит, могут ли поисковые системы думать или использовать рассуждения других моделей для повышения производительности.
(Antoine Chaffin will discuss late-interaction and multi-vector models like ColBERT. These models address the information loss of single-vector methods by using a vector for each token. Antoine will explain how they work and introduce his work on ColPali to make these powerful models easy to use.
Antoine Chaffin расскажет о late-interaction и мультивекторных моделях вроде ColBERT. Эти модели решают проблему потери информации одновекторных методов, используя отдельный вектор для каждого токена. Antoine объяснит, как они работают, и представит свою работу над ColPali, призванную упростить использование этих мощных моделей.
The final talk features Bryan Bischof and Ayush Chaurasia on multimodal search. They’ll explain that for multimodal data like graphs and tables, naive semantic search alone is insufficient. They will share how they created their best multimodal search recipe by combining modern techniques with “ancient tools.”
Финальный доклад представят Bryan Bischof и Ayush Chaurasia — о мультимодальном поиске. Они объяснят, что для мультимодальных данных вроде графиков и таблиц одного лишь наивного семантического поиска недостаточно. Они поделятся тем, как создали свой лучший рецепт мультимодального поиска, объединив современные техники с «древними инструментами».
You can sign up for the series with the links above, or here: p2: Evals, p3: Reasoning, p4: Late-Interaction, and p5: Multimodal.
Записаться на серию можно по ссылкам выше или здесь: p2: Evals, p3: Reasoning, p4: Late-Interaction и p5: Multimodal.
👉 These are the kinds of things we cover in our AI Evals course. You can learn more about the course here. 👈
👉 Именно такие вещи мы разбираем на нашем курсе AI Evals. Узнать больше о курсе можно здесь. 👈
Video
Видео
Here is the full video:
Полное видео: