Stop Saying RAG Is Dead – Hamel’s Blog - Hamel Husain
Хамель Хусейн (Hamel Husain) вместе с Ben Clavié выпустили открытую серию из 7 частей о том, почему RAG не умер и каким будет его будущее. Упрощённый подход 2023 года — закинуть документы в векторную базу и считать косинусную близость — действительно провален, потому что сжатие документов в один вектор теряет важную информацию, но сам по себе retrieval важнее прежнего: LLM «заморожены» на момент обучения, а контекстные окна на миллион токенов не меняют экономику. В серии разобраны новые метрики оценки (Nandan Thakur: покрытие, разнообразие, релевантность вместо классических IR-метрик и BEIR), рассуждающий поиск (Orion Weller, система Rank1), late-interaction модели вроде ColBERT (Antoine Chaffin), где модели на 150M параметров обходят 7B. Bryan Bischof и Ayush Chaurasia выступают за множественные специализированные представления и умную маршрутизацию, а исследование Kelly Hong про «Context Rot» показывает деградацию LLM при росте длины ввода. Наконец, Jo Kristian Bergum напоминает, что сложность не нужна: для GraphRAG достаточно CSV или Postgres, ведь векторный поиск уже использует графы (HNSW).
Мне надоело слышать «RAG умер». Именно поэтому мы с Ben Clavié подготовили эту открытую серию из 7 частей, чтобы обсудить, почему RAG не умер и каким видится его будущее.
Упрощённая версия из 2023 года заслуживает критики: закинуть документы в векторную базу, посчитать косинусную близость — и готово. Такой подход проваливается, потому что сжатие целых документов в одиночные векторы теряет критически важную информацию. Но сам retrieval важнее, чем когда-либо. LLM «заморожены» на момент обучения. Контекстные окна на миллион токенов не меняют экономику запихивания всего подряд в каждый запрос.
Что мы узнали
Мы начали с вопроса о том, как мы измеряем успех. Nandan Thakur показал, что традиционные IR-метрики оптимизированы под поиск результата №1. RAG нужны другие цели: покрытие (получить все факты), разнообразие (подтверждающие факты) и релевантность. Модели, которые блестяще проходят бенчмарки BEIR, часто проваливаются на реальных задачах RAG.
Дальше мы исследовали, как retrieval может рассуждать. Модели Orion Weller понимают инструкции вроде «найди документы о приватности данных, использующие метафоры». Его система Rank1 генерирует явные цепочки рассуждений о релевантности, выявляя документы, которые традиционные системы никогда не находят.
Затем Antoine Chaffin показал, почему одиночные векторы теряют информацию. Late-interaction модели вроде ColBERT сохраняют детализацию на уровне токенов вместо того, чтобы втискивать всё в одно противоречивое представление. Результат: модели на 150M параметров обходят альтернативы на 7B параметров в задачах на рассуждение.
Bryan Bischof и Ayush Chaurasia привели аргументы в пользу множественных представлений. Их демо поиска по произведениям искусства находит одну и ту же картину через буквальные описания, поэтические интерпретации или похожие изображения — каждое использует свой индекс. Перестаньте искать идеальный эмбеддинг. Стройте специализированные представления и маршрутизируйте с умом.
Исследование Kelly Hong о «Context Rot» показало, что производительность LLM существенно деградирует с ростом длины ввода — даже на простых задачах. Семантические совпадения, отвлекающие элементы и нерелевантная информация вызывают сбои, которые лексические бенчмарки вроде «иголки в стоге сена» полностью упускают. Продуманный retrieval и context engineering побеждают сваливание всего подряд в промпт.
Наконец, Jo Kristian Bergum напомнил нам, что изощрённость — это не сложность. Для GraphRAG не нужна графовая база данных. CSV или Postgres вполне справятся. Векторный поиск уже использует графы (HNSW), так что graph-подобный retrieval можно делать без новой инфраструктуры.
Каждый доклад разобран подробнее ниже.
Аннотированные заметки по серии
Каждый пост включает аннотации слайдов с тайм-кодами, экономя вам часы просмотра видео. Мы выделили самые важные моменты и дали контекст для быстрого схватывания материала.
Версия в PDF
PDF-версия серии доступна здесь.