P4: Late Interaction Models For RAG – Hamel’s Blog - Hamel Husain
В четвёртой части мини-серии по оценке и оптимизации RAG в рамках курса LLM Evals Антуан Шаффен из LightOn рассказывает о моделях позднего взаимодействия (late interaction) как альтернативе одновекторному поиску. Он объясняет, что главный недостаток плотных моделей — потеря информации при пулинге, из-за которой они плохо обобщаются на новые домены, длинные контексты и задачи с рассуждениями (BRIGHT, LongEmbed). Модели позднего взаимодействия вроде ColBERT сохраняют все токен-уровневые векторы и используют оператор MaxSim, что даёт существенный прирост: GTE-ModernColBERT показывает SOTA на LongEmbed, а Reason-ModernColBERT на 150M параметров обгоняет модели в 45 раз больше на BRIGHT. Антуан представляет PyLate — библиотеку поверх Sentence Transformers, которая упрощает обучение и оценку таких моделей, а также интегрируется с Hugging Face. В завершение он обсуждает направления развития: снижение стоимости хранения, мультимодальность (ColPali, CLaMR) и обучаемые функции схожести.
As part of our LLM Evals course, I hosted Antoine Chaffin, a researcher at LightOn, for the fourth part of our 5-part mini-series on evaluating and optimizing RAG. Antoine is a research engineer who has contributed to impactful open-source tools like ModernBERT and PyLate, a library for working with late-interaction models.
В рамках нашего курса LLM Evals я пригласил Antoine Chaffin, исследователя из LightOn, для четвёртой части нашей мини-серии из 5 частей по оценке и оптимизации RAG. Antoine — research engineer, который внёс вклад в значимые open-source инструменты, такие как ModernBERT и PyLate — библиотеку для работы с моделями позднего взаимодействия (late-interaction).
His talk explains the intrinsic limitations of single-vector search, such as information loss from pooling, and introduces late interaction models as a more powerful alternative for modern RAG use cases like out-of-domain generalization and long context retrieval.
В своём докладе он объясняет внутренние ограничения одновекторного поиска, такие как потеря информации при пулинге, и представляет модели позднего взаимодействия как более мощную альтернативу для современных сценариев RAG — например, обобщения на новые домены и поиска по длинным контекстам.
Below is an annotated version of the presentation, with timestamped links for each slide.
Ниже — аннотированная версия презентации со ссылками на таймкоды для каждого слайда.
👉 These are the kinds of things we cover in our AI Evals course. You can learn more about the course here. 👈
👉 Именно такие темы мы разбираем на нашем курсе AI Evals. Подробнее о курсе можно узнать здесь. 👈
Annotated Presentation
Аннотированная презентация
The title slide for Antoine’s talk, “Going Further: Late Interaction Beats Single Vector Limits.”
Титульный слайд доклада Antoine: «Going Further: Late Interaction Beats Single Vector Limits».
Antoine introduces himself, highlighting his background as an R&D engineer at LightOn with a Ph.D. in multimodal misinformation detection. His work focuses on information retrieval, especially with encoders and late interaction models, which led to his co-creation of ModernBERT and the PyLate library. He also mentions his work on OCR-free RAG pipelines and his active presence on Twitter, where he discusses these topics.
Antoine представляется, рассказывая о своём бэкграунде: R&D-инженер в LightOn с Ph.D. по мультимодальному обнаружению дезинформации. Его работа сосредоточена на информационном поиске, особенно с энкодерами и моделями позднего взаимодействия, что и привело к со-созданию ModernBERT и библиотеки PyLate. Он также упоминает свою работу над OCR-free RAG-пайплайнами и активное присутствие в Twitter, где он обсуждает эти темы.
This slide diagrams the standard architecture for dense (single) vector search. A query and a document are separately fed through an encoder model (like BERT) to generate contextualized vector representations for each token. A pooling operation (e.g., max, mean,[CLS] token, etc.) then compresses all these token vectors into a single vector for the query and a single vector for the document. Finally, a similarity score (typically cosine similarity) is computed between these two vectors to determine relevance. The information loss in the pooling step is a key limitation of this approach.
Этот слайд показывает стандартную архитектуру плотного (одновекторного) поиска. Запрос и документ по отдельности прогоняются через модель-энкодер (например, BERT), чтобы получить контекстные векторные представления для каждого токена. Затем операция пулинга (например, max, mean, токен [CLS] и т. д.) сжимает все эти токенные векторы в один вектор для запроса и один для документа. Наконец, между этими двумя векторами вычисляется оценка схожести (обычно косинусная), чтобы определить релевантность. Потеря информации на этапе пулинга — ключевое ограничение этого подхода.
Dense vector search has become the standard for RAG pipelines for several reasons. It offers strong out-of-the-box performance, and a vast number of pre-trained models are available on platforms like the Hugging Face Hub, catering to different sizes, languages, and domains. Furthermore, these models are easy to deploy using the growing ecosystem of vector databases and serving APIs.
Плотный векторный поиск стал стандартом для RAG-пайплайнов по нескольким причинам. Он даёт сильную производительность из коробки, а на платформах вроде Hugging Face Hub доступно огромное количество предобученных моделей под разные размеры, языки и домены. Кроме того, эти модели легко развернуть благодаря растущей экосистеме векторных баз данных и serving-API.
Performance evaluation is crucial for selecting the right model. The MTEB (Massive Text Embedding Benchmark) leaderboard is a valuable resource that centralizes results from various benchmarks, allowing practitioners to compare models and choose one that fits their budget and domain requirements.
Оценка качества критически важна при выборе подходящей модели. Лидерборд MTEB (Massive Text Embedding Benchmark) — ценный ресурс, который собирает результаты различных бенчмарков, позволяя практикам сравнивать модели и выбирать ту, что подходит под их бюджет и доменные требования.
Antoine uses the BEIR benchmark as an example of Goodhart’s Law in action. BEIR was introduced to evaluate the out-of-domain generalization of retrieval models. However, as it became the standard benchmark to beat, models began to overfit to its specific datasets. Consequently, top-performing models on the BEIR leaderboard may not generalize well to new, unseen use cases, underscoring the importance of running your own evaluations on your specific data.
Antoine приводит бенчмарк BEIR как пример закона Гудхарта в действии. BEIR был создан для оценки обобщения retrieval-моделей вне домена. Однако, став стандартным бенчмарком, он начал провоцировать переобучение моделей под его конкретные датасеты. В результате топовые модели в лидерборде BEIR могут плохо обобщаться на новые, ранее не встречавшиеся сценарии, что подчёркивает важность собственных оценок на ваших данных.
Antoine argues that if you cannot measure a capability, you cannot improve it. Existing benchmarks often miss important aspects of model performance. For instance, most older models were evaluated with a context window of only 512 tokens. While many newer models claim to support 8k tokens, recent evaluations have shown that their performance degrades significantly beyond 4k, a limitation that was not captured by older benchmarks.
Antoine утверждает: если вы не можете измерить какую-то способность, вы не сможете её улучшить. Существующие бенчмарки часто упускают важные аспекты производительности модели. Например, большинство старых моделей оценивались с окном контекста всего в 512 токенов. И хотя многие новые модели заявляют поддержку 8k токенов, недавние оценки показали, что их качество значительно деградирует за пределами 4k — ограничение, которое не улавливалось старыми бенчмарками.
This table from the LongEmbed paper illustrates the performance of various embedding models on long-context retrieval tasks. It shows that extending models with techniques like SelfExtend or NTK can significantly improve their ability to handle long contexts, with the E5-Mistral + NTK model achieving the highest average score.
Эта таблица из статьи LongEmbed иллюстрирует производительность различных embedding-моделей на задачах поиска по длинному контексту. Она показывает, что расширение моделей такими техниками, как SelfExtend или NTK, может значительно улучшить их способность работать с длинными контекстами: модель E5-Mistral + NTK достигает наивысшего среднего балла.
Retrieval goes beyond simple keyword or semantic matching. Modern RAG systems require more complex, reasoning-based retrieval. For example, a query asking for a different Snowflake function than UNPIVOT requires understanding the function’s purpose, not just matching keywords. Similarly, a math question might require retrieving a document that uses the same theorem, even if the numbers are different. These tasks are challenging for current models.
Поиск выходит за рамки простого совпадения по ключевым словам или семантике. Современные RAG-системы требуют более сложного поиска с рассуждениями. Например, запрос «какая Snowflake-функция отличается от UNPIVOT» требует понимания назначения функции, а не только сопоставления ключевых слов. Аналогично, математический вопрос может потребовать поиска документа, использующего ту же теорему, даже если числа другие. Такие задачи сложны для современных моделей.
This table shows the performance of various retrieval models on the BRIGHT benchmark, which is designed for reasoning-intensive tasks. The results show that even large, powerful models struggle, with the best model achieving an average nDCG@10 of only 24.3. This highlights the difficulty of reasoning-based retrieval for current systems.
Эта таблица показывает производительность различных retrieval-моделей на бенчмарке BRIGHT, который создан для задач, требующих рассуждений. Результаты демонстрируют, что даже большие, мощные модели испытывают трудности: лучшая модель достигает среднего nDCG@10 всего 24,3. Это подчёркивает сложность поиска с рассуждениями для нынешних систем.
Interestingly, BM25, a simple lexical search method that does not use deep learning, performs surprisingly well on these more challenging long-context and reasoning-intensive benchmarks. Its strength lies in its lack of compression; by matching exact keywords, it avoids the information loss that plagues dense models, making it a robust baseline for out-of-domain tasks.
Интересно, что BM25 — простой лексический метод поиска без deep learning — удивительно хорошо работает на этих более сложных бенчмарках с длинным контекстом и задачами на рассуждение. Его сила в отсутствии компрессии: сопоставляя точные ключевые слова, он избегает потери информации, которая преследует плотные модели, и становится надёжной базовой линией для out-of-domain задач.
Pooling is the core flaw of dense models. The process of compressing all the token vectors from a document into a single vector is inherently lossy. This compression forces the model to be selective about what information it retains.
Пулинг — основной недостаток плотных моделей. Процесс сжатия всех токенных векторов документа в один вектор по своей природе лоссовый. Эта компрессия вынуждает модель быть избирательной в том, какую информацию сохранять.
This slide illustrates how dense models learn selective information encoding. If a model is trained on a movie review dataset where queries are mostly about actors, it will learn to prioritize and encode information about actors while discarding details about the plot, music, or themes. This selective behavior leads to poor performance on out-of-domain queries (e.g., asking about the plot) or when applied to new domains entirely (e.g., cooking recipes), where the learned notion of similarity is no longer relevant.
Этот слайд иллюстрирует, как плотные модели обучаются избирательному кодированию информации. Если модель обучена на датасете рецензий на фильмы, где запросы в основном про актёров, она научится приоритизировать и кодировать информацию об актёрах, отбрасывая детали о сюжете, музыке или темах. Такое избирательное поведение приводит к плохой производительности на out-of-domain запросах (например, спросить о сюжете) или при переносе на совершенно новые домены (например, кулинарные рецепты), где выученное представление о схожести уже неактуально.
BM25 is effective in certain cases because it avoids pooling and compression, relying on exact keyword matching. In the example, “Leonardo DiCaprio disaster” in the query directly matches the terms in the document. However, this approach fails when there’s no direct lexical overlap, such as with synonyms or different languages.
BM25 эффективен в определённых случаях, потому что избегает пулинга и компрессии, опираясь на точное совпадение ключевых слов. В примере «Leonardo DiCaprio disaster» в запросе напрямую совпадает с терминами в документе. Однако этот подход проваливается, когда нет прямого лексического пересечения — например, с синонимами или другими языками.
Late interaction models offer a solution by replacing the pooling step. Instead of compressing token vectors into a single one, they keep all the token-level information. A token-level similarity operator, such as MaxSim, is then used to compute the final score. MaxSim works by finding the maximum similarity between each query token and all document tokens, then summing these maximum scores.
Модели позднего взаимодействия предлагают решение, заменяя шаг пулинга. Вместо сжатия токенных векторов в один они сохраняют всю информацию на уровне токенов. Затем для вычисления итоговой оценки применяется оператор схожести на уровне токенов — например, MaxSim. MaxSim работает так: для каждого токена запроса находится максимальная схожесть со всеми токенами документа, а затем эти максимальные оценки суммируются.
This meme challenges the idea that using a bigger single vector can solve the information compression problem. While a larger vector can hold more information, it doesn’t address the fundamental issue of conflicting signals when multiple distinct concepts are forced into one representation.
Этот мем оспаривает идею, что использование вектора большего размера может решить проблему компрессии информации. Хотя более крупный вектор может хранить больше информации, он не решает фундаментальную проблему конфликта сигналов, когда несколько разных концептов втиснуты в одно представление.
This slide provides a clear comparison between dense and late-interaction models. A dense model forces different concepts (e.g., actors and plot) into a single, conflicted representation. In contrast, a late-interaction model maintains separate token-level representations. The MaxSim operator can then match a query about actors to the specific actor tokens and a query about the plot to the plot tokens, resulting in clean, uninterrupted signals for each aspect of the document.
Этот слайд даёт наглядное сравнение плотных моделей и моделей позднего взаимодействия. Плотная модель вынуждает разные концепты (например, актёров и сюжет) в одно конфликтующее представление. В отличие от неё, модель позднего взаимодействия сохраняет отдельные представления на уровне токенов. Оператор MaxSim тогда сможет сопоставить запрос об актёрах с конкретными токенами-актёрами, а запрос о сюжете — с токенами сюжета, выдавая чистые, неискажённые сигналы для каждого аспекта документа.
Late-interaction models like ColBERT have demonstrated strong out-of-domain performance, even outperforming in-domain dense models. Antoine emphasizes that because “out-of-domain” is hard to define, the best approach is to test these models on your own specific data to see the benefits.
Модели позднего взаимодействия, такие как ColBERT, демонстрируют сильную производительность вне домена, превосходя даже in-domain плотные модели. Antoine подчёркивает: поскольку понятие «out-of-domain» сложно определить, лучший подход — тестировать эти модели на ваших собственных данных, чтобы увидеть выгоды.
The GTE-ModernColBERT model, which uses late interaction, achieves state-of-the-art results on the LongEmbed benchmark. Notably, it outperforms other models by a large margin, even though it was trained on documents with a maximum length of only 300 tokens, while the base models it’s compared against were trained with an 8k context window. This highlights its impressive generalization capabilities for long-context retrieval.
Модель GTE-ModernColBERT, использующая позднее взаимодействие, достигает state-of-the-art результатов на бенчмарке LongEmbed. Примечательно, что она превосходит другие модели с большим отрывом, хотя обучалась на документах максимальной длиной всего 300 токенов, тогда как базовые модели, с которыми её сравнивают, обучались с окном контекста 8k. Это подчёркивает её впечатляющие способности к обобщению при поиске по длинному контексту.
On the reasoning-intensive BRIGHT benchmark, the 150M-parameter Reason-ModernColBERT outperforms all 7B-parameter models (which are 45 times larger). It is even competitive with the proprietary ReasonIR-8B model, which was trained on the same data. This demonstrates the power of the late-interaction architecture for complex retrieval tasks.
На бенчмарке BRIGHT, требующем рассуждений, Reason-ModernColBERT со 150M параметров обходит все 7B-моделей (которые в 45 раз больше). Она даже конкурирует с проприетарной моделью ReasonIR-8B, обученной на тех же данных. Это демонстрирует силу архитектуры позднего взаимодействия для сложных retrieval-задач.
This slide provides a direct, apples-to-apples comparison on the BRIGHT benchmark. A late-interaction model achieves a mean score of 19.61, while a dense (single vector) model with the same backbone and training data scores only 12.31. This significant gap underscores the effectiveness of late interaction for challenging, reasoning-intensive retrieval.
Этот слайд даёт прямое сравнение «яблоки к яблокам» на бенчмарке BRIGHT. Модель позднего взаимодействия достигает среднего балла 19,61, тогда как плотная (одновекторная) модель с тем же бэкбоном и обучающими данными набирает лишь 12,31. Этот значительный разрыв подчёркивает эффективность позднего взаимодействия для сложного поиска с рассуждениями.
Interpretability is a valuable bonus of late-interaction models like ColBERT. Because the MaxSim operator performs granular, token-level matching, it’s possible to see exactly which parts of a document contributed to the match. This allows you to identify the specific sub-chunk of text that is most relevant, which is useful for debugging and for providing more precise context to an LLM in a RAG pipeline.
Интерпретируемость — ценный бонус моделей позднего взаимодействия вроде ColBERT. Поскольку оператор MaxSim выполняет детализированное сопоставление на уровне токенов, можно увидеть, какие именно части документа дали вклад в совпадение. Это позволяет определить конкретный под-чанк текста, наиболее релевантный запросу, что полезно для отладки и для подачи более точного контекста в LLM в RAG-пайплайне.
Despite their advantages, dense models are still mainstream. Antoine attributes this to three main factors:
Несмотря на преимущества, плотные модели всё ещё остаются мейнстримом. Antoine связывает это с тремя основными факторами:
Стоимость хранения: хранить n токенных векторов вместо одного дороже, хотя такие техники, как квантизация и снижение footprint, делают это всё более управляемым. Поддержка VectorDB: изначально большинство векторных БД не поддерживали иной механизм поиска, нужный моделям позднего взаимодействия. Однако ситуация меняется: крупные провайдеры, такие как Vespa, Weaviate и LanceDB, теперь предлагают поддержку. Нехватка доступных инструментов: широкая доступность библиотек вроде Sentence Transformers делает работу с плотными моделями очень простой.
To address the lack of accessible tools, Antoine and his collaborators created PyLate, a library that extends the popular Sentence Transformers framework for multi-vector models. Since late interaction is essentially a dense model without pooling and with a MaxSim operator, PyLate can leverage the existing Sentence Transformers ecosystem. This allows for efficient, monitorable training (multi-GPU, FP/BF16, W&B) and support for all base models.
Чтобы решить проблему нехватки доступных инструментов, Antoine с коллегами создали PyLate — библиотеку, расширяющую популярный фреймворк Sentence Transformers на мульти-векторные модели. Поскольку позднее взаимодействие — это, по сути, плотная модель без пулинга и с оператором MaxSim, PyLate может опираться на существующую экосистему Sentence Transformers. Это обеспечивает эффективное и наблюдаемое обучение (multi-GPU, FP/BF16, W&B) и поддержку всех базовых моделей.
PyLate is well-integrated with the Hugging Face ecosystem. This allows for easy sharing of models on the Hub and includes features like automatic model card creation, making it simple to document and distribute your trained late-interaction models.
PyLate хорошо интегрирована с экосистемой Hugging Face. Это позволяет легко делиться моделями на Hub и включает такие возможности, как автоматическое создание model card, что упрощает документирование и распространение обученных моделей позднего взаимодействия.
The syntax for training models with PyLate is designed to be very similar to Sentence Transformers. This familiarity makes it easy for developers to adapt their existing boilerplates and workflows. The example code shows how to define a model, load a dataset, configure training arguments, and start training with just a few modifications to a standard Sentence Transformers script.
Синтаксис обучения моделей в PyLate спроектирован максимально похожим на Sentence Transformers. Эта привычность облегчает разработчикам адаптацию существующих шаблонов и рабочих процессов. Пример кода показывает, как определить модель, загрузить датасет, настроить аргументы обучения и запустить тренировку всего с несколькими модификациями стандартного скрипта Sentence Transformers.
PyLate is not just for training; it also provides tools for evaluation. It includes a built-in, efficient index based on PLAID for fast retrieval. It also has helper functions that use the ranx library to easily compute standard IR metrics (like NDCG and Recall) on the retrieval output. The system is compatible with standard data formats (e.g., MTEB, BEIR), so you can evaluate on existing benchmarks or your own data.
PyLate подходит не только для обучения; она также предоставляет инструменты для оценки. В неё встроен эффективный индекс на основе PLAID для быстрого поиска. Также есть вспомогательные функции, использующие библиотеку ranx, чтобы легко вычислять стандартные IR-метрики (такие как NDCG и Recall) по результатам поиска. Система совместима со стандартными форматами данных (например, MTEB, BEIR), так что можно оценивать модели на существующих бенчмарках или на собственных данных.
One future research avenue is to reduce the storage cost of multi-vector models. Techniques like hierarchical pooling and quantization are being explored to find the optimal trade-off between index size and performance. The goal is to make the footprint of multi-vector indexes comparable to that of single-vector representations without sacrificing much performance.
Одно из направлений будущих исследований — снижение стоимости хранения мульти-векторных моделей. Изучаются такие техники, как иерархический пулинг и квантизация, чтобы найти оптимальный компромисс между размером индекса и производительностью. Цель — сделать footprint мульти-векторных индексов сопоставимым с одновекторными представлениями без существенной потери качества.
Another promising direction is applying late interaction to other modalities beyond text. Approaches like ColPali have already used ColBERT for OCR-free RAG with text and images. The diagram shows the CLaMR model, which uses late interaction for multimodal content retrieval across video, audio, OCR, and metadata, consistently outperforming single-vector approaches.
Ещё одно перспективное направление — применение позднего взаимодействия к другим модальностям помимо текста. Такие подходы, как ColPali, уже использовали ColBERT для OCR-free RAG с текстом и изображениями. На диаграмме показана модель CLaMR, которая использует позднее взаимодействие для мультимодального поиска контента — по видео, аудио, OCR и метаданным — стабильно превосходя одновекторные подходы.
The final future avenue is to develop better similarity functions. While the MaxSim operator is effective and has nice properties, it is relatively naive. Research into learnable late interaction functions, as shown in the paper “Efficient Document Ranking with Learnable Late Interactions” from Google, presents an opportunity to further improve the performance of these models.
Последнее направление будущего — разработка более совершенных функций схожести. Хотя оператор MaxSim эффективен и обладает хорошими свойствами, он относительно наивен. Исследования обучаемых функций позднего взаимодействия, как показано в статье «Efficient Document Ranking with Learnable Late Interactions» от Google, открывают возможность дальнейшего улучшения производительности этих моделей.
Antoine concludes by summarizing the key takeaways. Late interaction models overcome the intrinsic limitations of single-vector search and are well-suited for modern, real-world use cases (out-of-domain, long context, reasoning-intensive). With growing ecosystem support and tools like PyLate, it’s easier than ever to experiment with these models. He encourages the audience to try existing models on their own data and to train their own specialized models using the provided resources.
Antoine завершает, резюмируя ключевые выводы. Модели позднего взаимодействия преодолевают внутренние ограничения одновекторного поиска и хорошо подходят для современных, реальных сценариев (out-of-domain, длинный контекст, задачи с рассуждениями). С растущей поддержкой в экосистеме и инструментами вроде PyLate экспериментировать с этими моделями стало проще, чем когда-либо. Он призывает аудиторию попробовать существующие модели на своих данных и обучить собственные специализированные модели, используя предоставленные ресурсы.
Q&A Session
Сессия Q&A
(25:52) Why aren’t late-interaction models mainstream yet, given their advantages? Antoine believes it’s still early days. The tools and VectorDB support have only recently matured. It takes time for new technologies to be adopted, especially when it requires changes to production systems. He notes that many use cases don’t require scaling to millions of documents, and for those that do, modern indexes make it feasible. As more models become available for different languages and domains, he expects adoption to grow. Regarding latency, while late-interaction might be slightly slower, the performance gains often outweigh the minor latency increase, which is often not the bottleneck in complex RAG pipelines.
(31:04) If you fine-tune both a dense vector model and a late-interaction model on the same in-domain data, does the performance gap still hold? Yes, the performance gap still exists, even in-domain. Antoine points to the comparison on the BRIGHT benchmark, where a late-interaction model significantly outperformed a single-vector model with the same backbone and training data. He also suggests that fine-tuning a late-interaction model is easier and more stable because there’s less risk of the model’s knowledge “collapsing” onto the new training distribution, as the updates are more granular.
(33:20) How easy is it to get started and fine-tune with PyLate? Are there any tips? It’s very straightforward, especially for those familiar with Sentence Transformers. The boilerplate code is nearly identical. Antoine recommends using the in-training evaluation feature to monitor performance, which is particularly helpful when sweeping hyperparameters. He also mentioned that the training process is generally more stable and converges faster than with single-vector models. The PyLate documentation and repository contain boilerplates and more detailed guidance.
(34:22) What are some common mistakes or points of confusion for people moving from single-vector to late-interaction models? Antoine hasn’t seen many major pitfalls. He says if you can train a single-vector model, you can train a late-interaction model with PyLate. The common advice still applies: tune the temperature for contrastive loss, use a large batch size, etc. The documentation covers most of these common issues, and he encourages users to open issues or reach out on Twitter for help.
(25:52) Почему модели позднего взаимодействия до сих пор не стали мейнстримом, учитывая их преимущества? Antoine считает, что это всё ещё ранние дни. Инструменты и поддержка VectorDB созрели лишь недавно. Принятию новых технологий требуется время, особенно когда нужны изменения в продакшен-системах. Он отмечает, что многим сценариям не нужно масштабироваться до миллионов документов, а для тех, кому нужно, современные индексы делают это возможным. По мере появления большего числа моделей для разных языков и доменов он ожидает роста адопции. Что касается latency: хотя позднее взаимодействие может быть чуть медленнее, прирост качества часто перевешивает небольшое увеличение задержки, которое к тому же редко становится узким местом в сложных RAG-пайплайнах. (31:04) Если дообучить и плотную векторную модель, и модель позднего взаимодействия на одних и тех же in-domain данных, сохраняется ли разрыв в качестве? Да, разрыв сохраняется даже in-domain. Antoine ссылается на сравнение на бенчмарке BRIGHT, где модель позднего взаимодействия значительно обошла одновекторную модель с тем же бэкбоном и теми же обучающими данными. Он также отмечает, что дообучать модель позднего взаимодействия проще и стабильнее: меньше риска, что знания модели «коллапсируют» в новое обучающее распределение, поскольку обновления более гранулярные. (33:20) Насколько просто начать работу и дообучить модель с PyLate? Есть ли советы? Это очень просто, особенно для тех, кто знаком с Sentence Transformers. Шаблонный код почти идентичен. Antoine рекомендует использовать функцию in-training evaluation для мониторинга качества, что особенно полезно при свипе гиперпараметров. Он также упомянул, что процесс обучения в целом более стабилен и сходится быстрее, чем у одновекторных моделей. В документации и репозитории PyLate есть шаблоны и более подробные рекомендации. (34:22) Какие распространённые ошибки или точки путаницы возникают у людей, переходящих с одновекторных моделей на модели позднего взаимодействия? Antoine не видел много серьёзных подводных камней. Он говорит: если вы умеете обучать одновекторную модель, то с PyLate сможете обучить и модель позднего взаимодействия. Обычные советы по-прежнему применимы: подбирать температуру для контрастивного лосса, использовать большой batch size и т. д. Документация покрывает большинство типичных вопросов, и он призывает пользователей открывать issues или писать в Twitter за помощью.
👉 These are the kinds of things we cover in our AI Evals course. You can learn more about the course here. 👈
👉 Именно такие темы мы разбираем на нашем курсе AI Evals. Подробнее о курсе можно узнать здесь. 👈
Video
Видео
Here is the full video:
Здесь полное видео: