Stop Saying RAG Is Dead – Hamel’s Blog - Hamel Husain
Хамель Хусейн (Hamel Husain) вместе с Ben Clavié выпустили открытую серию из 7 частей о том, почему RAG не умер и каким будет его будущее. Упрощённый подход 2023 года — закинуть документы в векторную базу и считать косинусную близость — действительно провален, потому что сжатие документов в один вектор теряет важную информацию, но сам по себе retrieval важнее прежнего: LLM «заморожены» на момент обучения, а контекстные окна на миллион токенов не меняют экономику. В серии разобраны новые метрики оценки (Nandan Thakur: покрытие, разнообразие, релевантность вместо классических IR-метрик и BEIR), рассуждающий поиск (Orion Weller, система Rank1), late-interaction модели вроде ColBERT (Antoine Chaffin), где модели на 150M параметров обходят 7B. Bryan Bischof и Ayush Chaurasia выступают за множественные специализированные представления и умную маршрутизацию, а исследование Kelly Hong про «Context Rot» показывает деградацию LLM при росте длины ввода. Наконец, Jo Kristian Bergum напоминает, что сложность не нужна: для GraphRAG достаточно CSV или Postgres, ведь векторный поиск уже использует графы (HNSW).
I’m tired of hearing “RAG is dead.” That’s why Ben Clavié and I put together this open 7-part series to discuss why RAG is not dead, and what the future of RAG looks like.
Мне надоело слышать «RAG умер». Именно поэтому мы с Ben Clavié подготовили эту открытую серию из 7 частей, чтобы обсудить, почему RAG не умер и каким видится его будущее.
The oversimplified version from 2023 deserves the criticism: chuck documents into a vector database, do cosine similarity, call it a day. That approach fails because compressing entire documents into single vectors loses critical information. But retrieval itself is more important than ever. LLMs are frozen at training time. Million-token context windows don’t change the economics of stuffing everything into every query.
Упрощённая версия из 2023 года заслуживает критики: закинуть документы в векторную базу, посчитать косинусную близость — и готово. Такой подход проваливается, потому что сжатие целых документов в одиночные векторы теряет критически важную информацию. Но сам retrieval важнее, чем когда-либо. LLM «заморожены» на момент обучения. Контекстные окна на миллион токенов не меняют экономику запихивания всего подряд в каждый запрос.
What We Learned
Что мы узнали
We started by questioning how we measure success. Nandan Thakur showed that traditional IR metrics optimize for finding the #1 result. RAG needs different goals: coverage (getting all the facts), diversity (corroborating facts), and relevance. Models that ace BEIR benchmarks often fail at real RAG tasks.
Мы начали с вопроса о том, как мы измеряем успех. Nandan Thakur показал, что традиционные IR-метрики оптимизированы под поиск результата №1. RAG нужны другие цели: покрытие (получить все факты), разнообразие (подтверждающие факты) и релевантность. Модели, которые блестяще проходят бенчмарки BEIR, часто проваливаются на реальных задачах RAG.
From there, we explored how retrieval can reason. Orion Weller’s models understand instructions like “find documents about data privacy using metaphors.” His Rank1 system generates explicit reasoning traces about relevance, surfacing documents that traditional systems never find.
Дальше мы исследовали, как retrieval может рассуждать. Модели Orion Weller понимают инструкции вроде «найди документы о приватности данных, использующие метафоры». Его система Rank1 генерирует явные цепочки рассуждений о релевантности, выявляя документы, которые традиционные системы никогда не находят.
Antoine Chaffin then showed why single vectors lose information. Late-interaction models like ColBERT preserve token-level detail instead of forcing everything into one conflicted representation. The result: 150M parameter models outperforming 7B parameter alternatives on reasoning tasks.
Затем Antoine Chaffin показал, почему одиночные векторы теряют информацию. Late-interaction модели вроде ColBERT сохраняют детализацию на уровне токенов вместо того, чтобы втискивать всё в одно противоречивое представление. Результат: модели на 150M параметров обходят альтернативы на 7B параметров в задачах на рассуждение.
Bryan Bischof and Ayush Chaurasia made the case for multiple representations. Their art search demo finds the same painting through literal descriptions, poetic interpretations, or similar images, each using different indices. Stop searching for the perfect embedding. Build specialized representations and route intelligently.
Bryan Bischof и Ayush Chaurasia привели аргументы в пользу множественных представлений. Их демо поиска по произведениям искусства находит одну и ту же картину через буквальные описания, поэтические интерпретации или похожие изображения — каждое использует свой индекс. Перестаньте искать идеальный эмбеддинг. Стройте специализированные представления и маршрутизируйте с умом.
Kelly Hong’s research on “Context Rot” revealed that LLM performance degrades significantly as input length increases, even on simple tasks. Semantic matching, distractors, and irrelevant information cause failures that lexical benchmarks like “needle in a haystack” miss entirely. Thoughtful retrieval and context engineering beat dumping everything into the prompt.
Исследование Kelly Hong о «Context Rot» показало, что производительность LLM существенно деградирует с ростом длины ввода — даже на простых задачах. Семантические совпадения, отвлекающие элементы и нерелевантная информация вызывают сбои, которые лексические бенчмарки вроде «иголки в стоге сена» полностью упускают. Продуманный retrieval и context engineering побеждают сваливание всего подряд в промпт.
Finally, Jo Kristian Bergum reminded us that sophistication isn’t complexity. You don’t need a graph database for GraphRAG. A CSV or Postgres works fine. Vector search already uses graphs (HNSW), so you can do graph-like retrieval without new infrastructure.
Наконец, Jo Kristian Bergum напомнил нам, что изощрённость — это не сложность. Для GraphRAG не нужна графовая база данных. CSV или Postgres вполне справятся. Векторный поиск уже использует графы (HNSW), так что graph-подобный retrieval можно делать без новой инфраструктуры.
Each talk is covered in more detail below.
Каждый доклад разобран подробнее ниже.
Annotated Notes From the Series
Аннотированные заметки по серии
Each post includes timestamped annotations of slides, saving you hours of video watching. We’ve highlighted the most important bits and provided context for quickly grokking the material.
Каждый пост включает аннотации слайдов с тайм-кодами, экономя вам часы просмотра видео. Мы выделили самые важные моменты и дали контекст для быстрого схватывания материала.
