Improving Recommendation Systems & Search in the Age of LLMs

eugeneyan

eugeneyan

Start Here Writing Speaking Prototyping About

Improving Recommendation Systems & Search in the Age of LLMs

Улучшение рекомендательных систем и поиска в эпоху LLM

[ recsys llm teardown 🔥 ] · 43 min read

[ recsys llm teardown 🔥 ] · 43 мин чтения

Recommendation systems and search have historically drawn inspiration from language modeling. For example, the adoption of Word2vec to learn item embeddings (for embedding-based retrieval), and using GRUs, Transformer, and BERT to predict the next best item (for ranking). The current paradigm of large language models is no different.

Рекомендательные системы и поиск исторически черпали вдохновение из языкового моделирования. Например, применение Word2vec для обучения эмбеддингов товаров (для retrieval на эмбеддингах) и использование GRU, Transformer и BERT для предсказания следующего лучшего объекта (для ранжирования). Текущая парадигма больших языковых моделей не исключение.

Here, we’ll discuss how industrial search and recommendation systems have evolved over the past year or so and cover model architectures, data generation, training paradigms, and unified frameworks:

Здесь мы обсудим, как индустриальные системы поиска и рекомендаций эволюционировали за последний год, и рассмотрим архитектуры моделей, генерацию данных, парадигмы обучения и унифицированные фреймворки:

Архитектуры моделей, дополненные LLM/мультимодальностью Генерация и анализ данных с помощью LLM Законы масштабирования, transfer learning, дистилляция, LoRA и т.д. Унифицированные архитектуры для поиска и рекомендаций

LLM/multimodality-augmented model architecture

Архитектуры моделей, дополненные LLM/мультимодальностью

Recommendation models are increasingly adopting language models and multimodal content to overcome traditional limitations of ID-based approaches. These hybrid architectures include content understanding alongside the strengths of behavioral modeling, addressing the common challenges of cold-start and long-tail item recommendations.

Модели рекомендаций всё чаще используют языковые модели и мультимодальный контент, чтобы преодолеть традиционные ограничения подходов на основе ID. Эти гибридные архитектуры объединяют понимание контента с сильными сторонами поведенческого моделирования, решая распространённые задачи cold-start и рекомендаций long-tail объектов.

Semantic IDs (YouTube) explores content-derived features as substitutes for traditional hash-based IDs. This approach targets difficulties in predicting user preferences for new and infrequently interacted items. Their solution involves a two-stage framework.

Semantic IDs (YouTube) исследует признаки, выведенные из контента, как замену традиционным хэш-ID. Этот подход нацелен на сложности предсказания пользовательских предпочтений для новых и редко взаимодействующих объектов. Их решение — двухэтапный фреймворк.

In the first stage, a transformer-based video encoder (similar to Video-BERT) generates dense content embeddings. These embeddings are then compressed into discrete Semantic IDs through a Residual Quantization Variational AutoEncoder (RQ-VAE). Representing user histories with these compact semantic IDs—a few integers rather than high-dimensional embeddings—significantly improves efficiency. Once trained, the RQ-VAE is frozen and used to generate Semantic IDs for the second stage to train a production-scale ranking model.

На первом этапе видеокодер на основе трансформера (похожий на Video-BERT) генерирует плотные контентные эмбеддинги. Затем эти эмбеддинги сжимаются в дискретные Semantic ID через Residual Quantization Variational AutoEncoder (RQ-VAE). Представление пользовательской истории через эти компактные семантические ID — несколько целых чисел вместо высокоразмерных эмбеддингов — значительно повышает эффективность. После обучения RQ-VAE замораживается и используется для генерации Semantic ID на втором этапе для обучения продакшен-модели ранжирования.

The RQ-VAE itself is a single-layer encoder-decoder structure with a 256-dimensional latent space. It has eight quantization levels with a codebook of 2048 entries per level. The encoder maps content embeddings to a latent vector, while a residual quantizer discretizes this vector, and the decoder reconstructs the original embedding. The initial embeddings originate from a transformer with a VideoBERT backbone, producing detailed, 2048-dimensional representations that capture the topical content in video.

Сам RQ-VAE — это однослойная структура encoder-decoder с латентным пространством размерности 256. Он имеет восемь уровней квантования с кодовой книгой из 2048 записей на каждом уровне. Энкодер отображает контентные эмбеддинги в латентный вектор, residual-квантователь дискретизирует этот вектор, а декодер восстанавливает исходный эмбеддинг. Исходные эмбеддинги получены от трансформера с бэкбоном VideoBERT, который выдаёт детальные 2048-мерные представления, отражающие тематическое содержание видео.

To integrate Semantic IDs into ranking models, the authors propose two techniques: an N-gram-based approach, which groups fixed-length sequences, and a SentencePiece Model (SPM)-based method that adaptively learns variable-length subwords. The ranking model is a multi-task production ranking model that recommends the next video to watch given the current video and user history.

Чтобы интегрировать Semantic ID в модели ранжирования, авторы предлагают две техники: подход на основе N-грамм, группирующий последовательности фиксированной длины, и метод на базе SentencePiece Model (SPM), который адаптивно учит подсловa переменной длины. Модель ранжирования — мультизадачная продакшен-модель, рекомендующая следующее видео для просмотра по текущему видео и пользовательской истории.

Results: Directly using the dense content embeddings performed worse than using random hash IDs. The authors hypothesize that ranking models heavily rely on memorization from the ID-based embedding tables—replacing these with fixed dense content embeddings led to poorer CTR. However, both N-gram and SPM methods did better than random hashing, especially in cold-start scenarios. Ablation tests revealed that while N-gram approaches had a slight advantage when embedding table sizes were limited (e.g., $8 \times K$ or $4 \times K^2$), SPM methods offered superior generalization and efficiency with larger embedding tables.

Результаты: Прямое использование плотных контентных эмбеддингов работало хуже, чем случайные хэш-ID. Авторы предполагают, что модели ранжирования сильно полагаются на запоминание из ID-таблиц эмбеддингов — замена их фиксированными плотными контентными эмбеддингами ухудшила CTR. Однако и N-gram, и SPM методы превзошли случайное хэширование, особенно в сценариях cold-start. Ablation-тесты показали, что подход N-gram имеет небольшое преимущество, когда размеры таблиц эмбеддингов ограничены (например, $8 \times K$ или $4 \times K^2$), а SPM-методы дают лучшую обобщающую способность и эффективность при больших таблицах эмбеддингов.

Dense content embeddings (dashed lines) perform worse than random hashing (solid orange).

Плотные контентные эмбеддинги (пунктирные линии) работают хуже случайного хэширования (сплошная оранжевая).

Similarly, M3CSR (Kuaishou) introduces multimodal content embeddings (visual, textual, audio) clustered via K-means into trainable category IDs. This transforms static content embeddings into adaptable, behavior-aligned representations.

Аналогично, M3CSR (Kuaishou) вводит мультимодальные контентные эмбеддинги (визуальные, текстовые, аудио), кластеризуемые через K-means в обучаемые category ID. Это превращает статичные контентные эмбеддинги в адаптируемые, выровненные с поведением представления.

The M3CSR framework has a dual-tower architecture, splitting user-side and item-side towers to optimize for online inference efficiency where user and item embeddings can be pre-computed and indexed via approximate nearest neighbor indices. Item embeddings are derived from multimodal pretrained models—ResNet for visual, Sentence-BERT for text, and VGGish for audio—and concatenated into a single embedding vector. These vectors are then clustered using K-means (with approximately 1,000 clusters from over 10 million videos).

Фреймворк M3CSR имеет двухбашенную (dual-tower) архитектуру, разделяющую башни на пользовательскую и товарную для оптимизации эффективности онлайн-инференса, где пользовательские и товарные эмбеддинги могут быть предвычислены и проиндексированы через approximate nearest neighbor индексы. Эмбеддинги объектов получаются из мультимодальных предобученных моделей — ResNet для визуального, Sentence-BERT для текста и VGGish для аудио — и конкатенируются в единый вектор эмбеддинга. Эти векторы затем кластеризуются с помощью K-means (примерно 1000 кластеров из более чем 10 миллионов видео).

Next, cluster IDs are embedded through a Modal Encoder, a dense network translating content features into behaviorally aligned spaces and assigning trainable embeddings. The Modal Encoder uses a dense network to learn the mapping from content-space to behavior space and a cluster ID lookup to assign a trainable cluster ID embedding.

Далее cluster ID встраиваются через Modal Encoder — плотную сеть, переводящую контентные признаки в поведенчески выровненные пространства и присваивающую обучаемые эмбеддинги. Modal Encoder использует плотную сеть для изучения отображения из контентного пространства в поведенческое и lookup по cluster ID для присвоения обучаемого эмбеддинга cluster ID.

On the user side, M3CSR learns on user behavior sequences to train sequential models that capture user preferences. In addition, to accurately model user modality preferences, the framework concatenates general behavioral interests with modality-specific interests. These modality-specific interests are derived by converting item IDs back into their multimodal embeddings using the same Modal Encoder.

На стороне пользователя M3CSR обучается на последовательностях пользовательского поведения, чтобы обучать последовательные модели, улавливающие предпочтения пользователя. Кроме того, для точного моделирования модальных предпочтений пользователя фреймворк конкатенирует общие поведенческие интересы с модально-специфическими интересами. Эти модально-специфические интересы получаются путём преобразования item ID обратно в их мультимодальные эмбеддинги с помощью того же Modal Encoder.

Results: M3CSR outperformed several multimodal baselines such as VBPR, MMGCN, and LATTICE. Ablation studies highlighted the importance of modeling modality-specific user interests and demonstrated consistent superiority of multimodal features over single-modal features across datasets (Amazon, TikTok, Allrecipes). A/B testing measured that clicks increased by 3.4%, likes by 3.0%, and follows by 3.1%. In cold-start scenarios, M3CSR also showed improved performance, achieving a 1.2% boost in cold-start velocity and a 3.6% increase in cold-start video coverage.

Результаты: M3CSR превзошёл несколько мультимодальных бейзлайнов, таких как VBPR, MMGCN и LATTICE. Ablation-исследования подчеркнули важность моделирования модально-специфических интересов пользователя и продемонстрировали стабильное превосходство мультимодальных признаков над одно-модальными по разным датасетам (Amazon, TikTok, Allrecipes). A/B-тестирование показало рост кликов на 3.4%, лайков на 3.0% и подписок на 3.1%. В cold-start сценариях M3CSR также показал улучшения, достигнув роста cold-start velocity на 1.2% и покрытия cold-start видео на 3.6%.

FLIP (Huawei) shows how to align ID-based recommendation models with LLMs by jointly learning from masked tabular and language data. The core idea is to reconstruct masked features from one modality (user and item IDs) using information from another modality (text tokens), ensuring tight cross-modal alignment.

FLIP (Huawei) показывает, как выровнять ID-based рекомендательные модели с LLM через совместное обучение на маскированных табличных и языковых данных. Основная идея — реконструировать маскированные признаки одной модальности (user и item ID), используя информацию другой модальности (текстовые токены), обеспечивая тесное межмодальное выравнивание.

FLIP operates in three stages: modality transformation, modality alignment pretraining, and adaptive finetuning. First, tabular data is translated into text using structured prompt templates. Then, joint masked language/tabular modeling is conducted to achieve fine-grained alignment between modalities. During pretraining, textual data undergoes field-level masking (replacing entire fields with [MASK] tokens), while corresponding tabular features are masked by substituting feature IDs with [MASK].

FLIP работает в три этапа: трансформация модальности, предобучение на выравнивание модальностей и адаптивный finetuning. Сначала табличные данные переводятся в текст с помощью структурированных prompt-шаблонов. Затем проводится совместное маскированное языковое/табличное моделирование для достижения тонкого выравнивания между модальностями. Во время предобучения текстовые данные подвергаются маскированию на уровне полей (замена целых полей токенами [MASK]), а соответствующие табличные признаки маскируются путём замены feature ID на [MASK].

FLIP trains two parallel models with three objectives: (i) Masked Language Modeling (MLM) predicts masked text tokens using complete tabular context; (ii) Masked Tabular Modeling (MTM) predicts masked feature IDs leveraging textual data; and (iii) Instance-level Contrastive Learning (ICL) aligns global representations across modalities.

FLIP обучает две параллельные модели с тремя целями: (i) Masked Language Modeling (MLM) предсказывает маскированные текстовые токены, используя полный табличный контекст; (ii) Masked Tabular Modeling (MTM) предсказывает маскированные feature ID, опираясь на текстовые данные; и (iii) Instance-level Contrastive Learning (ICL) выравнивает глобальные представления между модальностями.

Finally, the aligned models—TinyBERT as the LLM and DCNv2 as the ID-based model—are finetuned on the downstream click-through rate (CTR) prediction task. To do this, FLIP adds randomly initialized output layers on both models to estimate click probabilities. The final prediction is a weighted sum of both models’ outputs, where the weights are learned adaptively during training.

Наконец, выровненные модели — TinyBERT как LLM и DCNv2 как ID-based модель — дообучаются на downstream-задаче предсказания CTR. Для этого FLIP добавляет случайно инициализированные выходные слои на обеих моделях для оценки вероятностей кликов. Финальное предсказание — взвешенная сумма выходов обеих моделей, где веса обучаются адаптивно.

Results: FLIP outperforms the baselines of ID-only, LLM-only, and ID+LLM models. Ablation studies show that (i) both MLM and MTM objectives improve performance, (ii) field-level masking is more effective than random token masking, and (iii) joint reconstruction between modalities is key.

Результаты: FLIP превосходит бейзлайны из ID-only, LLM-only и ID+LLM моделей. Ablation-исследования показывают, что (i) обе цели MLM и MTM улучшают производительность, (ii) маскирование на уровне полей эффективнее случайного маскирования токенов, и (iii) совместная реконструкция между модальностями является ключевой.

Similarly, beeFormer demonstrates how to train language-only Transformers on user-item interaction data enriched with textual information. The goal is to bridge the gap between semantic similarity (from textual data) and interaction-based similarity (from user behavior).

Аналогично, beeFormer демонстрирует, как обучать языковые трансформеры на данных user-item взаимодействий, обогащённых текстовой информацией. Цель — преодолеть разрыв между семантической схожестью (из текстовых данных) и схожестью на основе взаимодействий (из поведения пользователей).

beeFormer combines a sentence Transformer encoder for item embeddings with an ELSA (scalablE Linear Shallow Autoencoder)-based decoder that captures patterns from user-item interactions. First, item embeddings are generated through a Transformer trained on textual data. These embeddings are then used to compute user recommendations via ELSA’s low-rank approximation of item-to-item weight. The key here is to backpropagate the gradients from the recommendation loss through the Transformer model. As a result, weight updates capture interaction patterns rather than just semantic similarity.

beeFormer объединяет sentence Transformer энкодер для эмбеддингов объектов с декодером на основе ELSA (scalablE Linear Shallow Autoencoder), который улавливает паттерны из взаимодействий user-item. Сначала эмбеддинги объектов генерируются через трансформер, обученный на текстовых данных. Эти эмбеддинги затем используются для вычисления рекомендаций пользователю через низкоранговую аппроксимацию item-to-item весов ELSA. Ключевое здесь — обратное распространение градиентов от recommendation loss через модель трансформера. В результате обновления весов улавливают паттерны взаимодействий, а не только семантическую схожесть.

To make training computationally feasible on large catalogs, beeFormer applies gradient checkpointing to manage memory usage, gradient accumulation for larger effective batch sizes, and negative sampling to focus training efficiently on relevant items.

Чтобы сделать обучение вычислительно реалистичным на больших каталогах, beeFormer применяет gradient checkpointing для управления потреблением памяти, gradient accumulation для увеличения эффективных размеров батча и negative sampling, чтобы эффективно сосредоточить обучение на релевантных объектах.

Results: Offline evaluations show that beeFormer surpasses baseline models like mpnet-base-v2 and bge-m3. However, the comparison is limited (and IMHO unfair) since the baselines weren’t finetuned on the training dataset. Interestingly, models trained across multiple domains (movies + books) performed better than domain-specific ones, suggesting that there was transfer learning across domains.

Результаты: Офлайн-оценки показывают, что beeFormer превосходит бейзлайн-модели вроде mpnet-base-v2 и bge-m3. Однако сравнение ограничено (и, на мой взгляд, нечестно), поскольку бейзлайны не были дообучены на тренировочном датасете. Интересно, что модели, обученные на нескольких доменах (фильмы + книги), показали лучшие результаты, чем доменно-специфические, что говорит о наличии transfer learning между доменами.

CALRec (Google) introduces a two-stage framework that finetunes a pretrained LLM (PaLM-2 XXS) for sequential recommendations. Both user interactions and model predictions are represented entirely through text.

CALRec (Google) вводит двухэтапный фреймворк, дообучающий предобученную LLM (PaLM-2 XXS) для последовательных рекомендаций. И пользовательские взаимодействия, и предсказания модели представляются полностью через текст.

First, all input (e.g., user-item interactions) is converted into text sequences by concatenating meaningful attributes (title, category, brand, price) into structured textual prompts. Attributes are formatted in the style of “Attribute name: Attribute description” and concatenated. At the end of the user history sequence, they append the item prefix, thus prompting the LLM to predict the user’s next purchase as a sentence completion task.

Сначала все входные данные (например, взаимодействия user-item) преобразуются в текстовые последовательности путём конкатенации значимых атрибутов (заголовок, категория, бренд, цена) в структурированные текстовые промпты. Атрибуты форматируются в стиле «Имя атрибута: Описание атрибута» и конкатенируются. В конце пользовательской истории добавляется префикс объекта, тем самым побуждая LLM предсказать следующую покупку пользователя как задачу завершения предложения.

CALRec has a two-stage finetuning approach. The first stage involves multi-category training to adapt the model to sequential recommendation patterns in a category-agnostic way. The second stage refines the model within specific item categories. The training objective combines next-item generation tasks (predicting textual descriptions of items) with auxiliary contrastive alignment. The former aims to generate the text description of the target item given the user’s history; the latter applies contrastive loss on the output of the separate user and item towers to align user history to target item representations.

CALRec использует двухэтапный подход finetuning. Первый этап включает мультикатегорийное обучение для адаптации модели к паттернам последовательных рекомендаций категорически-агностично. Второй этап уточняет модель в рамках конкретных категорий товаров. Цель обучения сочетает задачи генерации следующего объекта (предсказание текстовых описаний объектов) со вспомогательным contrastive alignment. Первая стремится сгенерировать текстовое описание целевого объекта по истории пользователя; вторая применяет contrastive loss к выходу отдельных башен пользователя и объекта, чтобы выровнять представления истории пользователя с целевым объектом.

During inference, the model is prompted to generate multiple candidates via temperature sampling. They remove duplicates, sort by the output’s log probabilities in descending order, and keep the top k candidates. Then, these textual predictions are matched to catalog items via BM25 and sorted by the matching scores.

Во время инференса модель побуждается генерировать несколько кандидатов через temperature sampling. Удаляются дубликаты, сортировка по log-вероятностям выхода по убыванию, и сохраняются top k кандидатов. Затем эти текстовые предсказания сопоставляются с объектами каталога через BM25 и сортируются по баллам сопоставления.

Results: On the Amazon Review Dataset 2018, CALRec outperforms ID-based and text-based baselines (e.g., SASRec, BERT4Rec, FDSA, UniSRec). While the evaluation dataset is limited, CalRec beating the baselines is promising. Ablations demonstrate the necessity of both training stages, especially highlighting transfer learning benefits from multi-category training and incremental gains (0.8 - 1.7%) from contrastive alignment.

Результаты: На Amazon Review Dataset 2018 CALRec превосходит ID-based и text-based бейзлайны (например, SASRec, BERT4Rec, FDSA, UniSRec). Хотя оценочный датасет ограничен, превосходство CalRec над бейзлайнами обнадёживает. Ablation-исследования демонстрируют необходимость обоих этапов обучения, особенно подчёркивая преимущества transfer learning от мультикатегорийного обучения и инкрементальные приросты (0.8 - 1.7%) от contrastive alignment.

EmbSum (Meta) presents a content-based recommendation approach using precomputed textual summaries of user interests and candidate items to capture interactions within the user engagement history.

EmbSum (Meta) представляет content-based подход к рекомендациям с использованием предвычисленных текстовых саммари пользовательских интересов и объектов-кандидатов для улавливания взаимодействий внутри истории вовлечения пользователя.

EmbSum uses T5-small (61M parameters) to encode user interactions and candidate content, managing long user histories by partitioning them into sessions for encoding. Then, Mixtral-8x22B-Instruct generates the interpretable user interest summaries from user histories. These summaries are then fed into the T5’s encoder to derive final embeddings.

EmbSum использует T5-small (61M параметров) для кодирования пользовательских взаимодействий и контента-кандидатов, управляя длинными пользовательскими историями путём разбиения их на сессии для кодирования. Затем Mixtral-8x22B-Instruct генерирует интерпретируемые саммари интересов пользователей по их истории. Эти саммари затем подаются в энкодер T5 для получения итоговых эмбеддингов.

Key to this architecture are User Poly-Embeddings (UPE) and Content Poly-Embeddings (CPE). To get a global representation for UPE, they take the last token of the decoder output ([EOS]) and concatenate it with the representation vectors from the session encoder. This combined representation passes through a poly-attention layer which distills nuanced user interests into multiple embeddings. EmbSum training combines noisy contrastive estimation loss and summarization loss, ensuring high-quality user embeddings.

Ключевыми для этой архитектуры являются User Poly-Embeddings (UPE) и Content Poly-Embeddings (CPE). Для получения глобального представления UPE берётся последний токен выхода декодера ([EOS]) и конкатенируется с векторами представлений из энкодера сессий. Это объединённое представление проходит через слой poly-attention, который дистиллирует тонкие пользовательские интересы в несколько эмбеддингов. Обучение EmbSum сочетает noisy contrastive estimation loss и summarization loss, обеспечивая высококачественные пользовательские эмбеддинги.

Results: EmbSum beats several state-of-the-art content-based recommenders. Nonetheless, direct comparisons with behavioral recommenders were glaringly absent. Ablation studies show that CPE contributes most to performance, followed by session-based grouping and encoding, user poly-embeddings, and summarization losses. Additionally, GPT-4 evaluations indicate strong interpretability and quality of generated user interest summaries.

Результаты: EmbSum превосходит несколько SOTA content-based рекомендеров. Тем не менее, прямые сравнения с поведенческими рекомендерами явно отсутствовали. Ablation-исследования показывают, что CPE вносит наибольший вклад в производительность, далее идут группировка и кодирование по сессиям, user poly-embeddings и summarization losses. Кроме того, оценки GPT-4 указывают на сильную интерпретируемость и качество сгенерированных саммари интересов пользователей.

• • •

• • •

LLM-assisted data generation and analysis

Генерация и анализ данных с помощью LLM

Another common theme is using LLMs to enrich data. Several papers share about using LLMs to tackle data scarcity and enhance the quality of search and recommendations. Examples include generating webpage metadata at Bing, creating synthetic training data to identify poor job matches at Indeed, adding semantic labels for query understanding at Yelp, crafting exploratory search queries at Spotify, and enriching music playlist metadata at Amazon.

Другая распространённая тема — использование LLM для обогащения данных. Несколько работ рассказывают об использовании LLM для решения проблемы нехватки данных и повышения качества поиска и рекомендаций. Примеры включают генерацию метаданных веб-страниц в Bing, создание синтетических обучающих данных для выявления плохих job match в Indeed, добавление семантических меток для понимания запросов в Yelp, формирование exploratory поисковых запросов в Spotify и обогащение метаданных музыкальных плейлистов в Amazon.

Recommendation Quality Improvement (Bing) shares how Bing improved webpage recommendations by using LLMs to generate high-quality metadata and training an LLM to predict clicks and quality.

Recommendation Quality Improvement (Bing) рассказывает, как Bing улучшил рекомендации веб-страниц, используя LLM для генерации высококачественных метаданных и обучая LLM предсказывать клики и качество.

Previously, Bing’s webpage representations relied on extractive summaries, which often caused query classification failures. To address this, they used GPT-4 to generate high-quality titles and snippets from full webpage content for two million pages. Then, for efficient large-scale deployment, they finetuned a Mistral-7B model using this GPT-4-generated data.

Ранее представления веб-страниц Bing полагались на экстрактивные саммари, которые часто приводили к ошибкам классификации запросов. Чтобы решить это, они использовали GPT-4 для генерации высококачественных заголовков и сниппетов из полного содержания веб-страниц для двух миллионов страниц. Затем, для эффективного масштабного развёртывания, они дообучили модель Mistral-7B, используя эти данные, сгенерированные GPT-4.

To improve webpage-to-webpage recommendation rankings, they finetuned a multitask MiniLM-based cross-encoder on both pairwise click predictions and quality classification tasks. The resulting quality scores were then linearly combined with click predictions from an existing LightGBM ranker.

Чтобы улучшить ранжирование рекомендаций webpage-to-webpage, они дообучили multitask cross-encoder на базе MiniLM как на парных предсказаниях кликов, так и на задачах классификации качества. Полученные оценки качества затем линейно комбинировались с предсказаниями кликов от существующего ранжировщика LightGBM.

The MiniLM (right) is ensembled with the LightGBM ranker (left).

MiniLM (справа) ансамблируется с ранжировщиком LightGBM (слева).

To better understand user preferences, they defined 16 distinct recommendation scenarios reflecting common user patterns. Using high-precision prompts, they classified each webpage-to-webpage recommendation, incorporating the enhanced title and snippets from Mistral-7B, into these scenarios. Then, by monitoring the distribution changes of each scenario, they quantified the improvements in webpage recommendation quality.

Чтобы лучше понимать предпочтения пользователей, они определили 16 различных сценариев рекомендаций, отражающих типичные паттерны пользователей. Используя высокоточные промпты, они классифицировали каждую рекомендацию webpage-to-webpage, включая улучшенные заголовки и сниппеты от Mistral-7B, по этим сценариям. Затем, отслеживая изменения распределения каждого сценария, они количественно оценили улучшения качества рекомендаций веб-страниц.

Results: The enhanced system reduced clickbait by 31%, low-authority content by 35%, and duplicate content by 76%. At the same time, higher authority content increased by 18%, cross-medium recommendations rose by 48%, and recommendations with greater specificity improved by 20%. This is despite lower-quality content (e.g., clickbait) historically showing higher CTR, demonstrating the effectiveness of the quality-focused cross-encoder.

Результаты: Улучшенная система сократила кликбейт на 31%, контент с низкой авторитетностью на 35% и дублирующий контент на 76%. В то же время доля контента с большей авторитетностью выросла на 18%, кросс-медийных рекомендаций — на 48%, а рекомендаций с большей специфичностью — на 20%. И это несмотря на то, что контент более низкого качества (например, кликбейт) исторически показывал более высокий CTR, что демонстрирует эффективность cross-encoder, ориентированного на качество.

(👉 Recommended read) Expected Bad Match (Indeed) shares how they used LLM-generated labels to filter poor job matches. Specifically, they finetuned LLMs to evaluate recommendation quality and generate labels for a post-processing classifier.

(👉 Рекомендую к прочтению) Expected Bad Match (Indeed) рассказывает, как они использовали метки, сгенерированные LLM, для фильтрации плохих job match. В частности, они дообучили LLM для оценки качества рекомендаций и генерации меток для пост-обработочного классификатора.

They started with building an evaluation set by cross-reviewing 250 matches, narrowing it down to 147 high confidence labeled examples. Then, they prompted various LLMs, such as Llama2 and Mistral-7B, using expert recruitment guidelines to evaluate match quality across dimensions like job descriptions, resumes, and user interactions. However, these models struggled with detailed prompts, producing generalized assessments that didn’t consider detailed job and job seeker information. On the other hand, GPT-4 performed better but was prohibitively expensive.

Они начали с построения оценочного набора, перекрёстно проверив 250 матчей, сузив его до 147 высокоуверенных размеченных примеров. Затем они подавали запросы различным LLM, таким как Llama2 и Mistral-7B, используя экспертные рекрутинговые гайдлайны для оценки качества матчей по таким измерениям, как описания вакансий, резюме и пользовательские взаимодействия. Однако эти модели плохо справлялись с детальными промптами, выдавая обобщённые оценки, не учитывающие подробную информацию о вакансиях и соискателях. С другой стороны, GPT-4 показал лучшие результаты, но был непомерно дорогим.

To balance cost and effectiveness, the team finetuned GPT-3.5 on a curated dataset of over 200 human-reviewed GPT-4 responses. This finetuned GPT-3.5 matched GPT-4’s performance at just a quarter of the cost and latency. But despite the improvements, its inference latency of 6.7 seconds remained too high for online use. Thus, they trained a lightweight classifier, eBadMatch, using LLM-generated labels and categorical features from job descriptions, resumes, and user activity. In production, a daily pipeline samples job matches, engineers features, anonymizes data, generates LLM labels, and retrains the model. This classifier acts as a post-processing filter to remove low-quality matches.

Чтобы сбалансировать стоимость и эффективность, команда дообучила GPT-3.5 на тщательно отобранном датасете из более чем 200 проверенных людьми ответов GPT-4. Этот дообученный GPT-3.5 соответствовал производительности GPT-4 при четверти стоимости и задержки. Но несмотря на улучшения, его задержка инференса в 6.7 секунды оставалась слишком высокой для онлайн-использования. Поэтому они обучили лёгкий классификатор eBadMatch, используя сгенерированные LLM метки и категориальные признаки из описаний вакансий, резюме и пользовательской активности. В продакшене ежедневный пайплайн сэмплирует job match, инженерит признаки, анонимизирует данные, генерирует LLM-метки и переобучает модель. Этот классификатор работает как пост-обработочный фильтр для удаления низкокачественных матчей.

Results: The eBadMatch classifier achieved an AUC-ROC of 0.86 against LLM labels, with latency suitable for real-time filtering. Online experiments demonstrated that applying a 20% threshold filter on invitation-to-apply emails reduced batch matches by 17.68%, lowered unsubscribe rates by 4.97%, and increased application rates by 4.13%. Similar improvements were observed in homepage recommendation feeds.

Результаты: Классификатор eBadMatch достиг AUC-ROC 0.86 против LLM-меток с задержкой, подходящей для real-time фильтрации. Онлайн-эксперименты показали, что применение порогового фильтра 20% на письмах invitation-to-apply сократило батчевые матчи на 17.68%, снизило отписки на 4.97% и увеличило отклики на вакансии на 4.13%. Аналогичные улучшения наблюдались в лентах рекомендаций на главной странице.

(👉 Recommended read) Query Understanding (Yelp) shows how they integrated LLMs into their query understanding pipeline to improve query segmentation and review highlights.

(👉 Рекомендую к прочтению) Query Understanding (Yelp) показывает, как они интегрировали LLM в свой пайплайн понимания запросов для улучшения сегментации запросов и review highlights.

Query segmentation identifies meaningful parts of user queries—such as topic, name, time, location, and question—and tags them accordingly. Along the way, they learned that spelling correction and segmentation could be done together and thus added a meta tag to mark spell-corrected sections and combined both tasks into a single prompt. Retrieval-augmented generation (RAG) further improved segmentation accuracy by incorporating business names and categories as context that disambiguated user intent. For evaluation, they compared LLM-identified segments against human-labeled datasets of name match and location intent.

Сегментация запросов выделяет значимые части пользовательских запросов — такие как тема, имя, время, локация и вопрос — и тегирует их соответственно. По ходу они выяснили, что spelling correction и сегментацию можно делать вместе, и добавили мета-тег для маркировки секций с исправленным написанием, объединив обе задачи в один промпт. RAG дополнительно улучшил точность сегментации, включая названия компаний и категории как контекст, который разрешал двусмысленность пользовательского намерения. Для оценки они сравнивали сегменты, идентифицированные LLM, с размеченными людьми датасетами name match и location intent.

Review highlights selects key snippets from reviews to highlight in search results. They used LLMs to generate synonymous phrases suitable for highlights. Curated examples prompted LLMs to replicate human reasoning in phrase expansion. RAG further enhanced relevance by augmenting the input with relevant business categories to guide phrase generation. Offline evaluation was done via human annotators before online A/B testing of the new highlight phrases. To scale efficiently and cover 95% of traffic, Yelp pre-computed snippet expansions using batch calls to OpenAI and stored them in key-value stores to reduce latency.

Review highlights выбирает ключевые сниппеты из отзывов для подсветки в результатах поиска. Они использовали LLM для генерации синонимичных фраз, подходящих для подсветки. Тщательно подобранные примеры побуждали LLM воспроизводить человеческие рассуждения в раскрытии фраз. RAG дополнительно повысил релевантность, дополняя вход релевантными категориями бизнеса, чтобы направлять генерацию фраз. Офлайн-оценка проводилась через человеческих аннотаторов перед онлайн A/B-тестированием новых highlight-фраз. Чтобы эффективно масштабироваться и покрыть 95% трафика, Yelp предвычислил раскрытия сниппетов с помощью батчевых вызовов OpenAI и сохранил их в key-value хранилищах для снижения задержки.

The team shared their approach—from initial formulation and proof of concept (POC) to scaling up. Initially, they assessed LLM suitability and defined the project’s scope. During POC, they leveraged the power-law distribution of queries, caching pre-computed LLM responses for common queries covering most traffic. To scale, they created golden datasets using GPT-4 outputs and finetuned smaller, cost-effective models like GPT-4o-mini. Additionally, real-time models like BERT and T5 addressed less frequent, long-tail queries.

Команда поделилась своим подходом — от начальной формулировки и proof of concept (POC) до масштабирования. Сначала они оценили пригодность LLM и определили масштаб проекта. Во время POC они использовали степенное распределение запросов, кэшируя предвычисленные ответы LLM для часто встречающихся запросов, покрывающих большую часть трафика. Для масштабирования они создали эталонные датасеты с использованием выходов GPT-4 и дообучили меньшие, экономически выгодные модели вроде GPT-4o-mini. Кроме того, real-time модели вроде BERT и T5 обрабатывали менее частые long-tail запросы.

Results: Yelp’s query segmentation significantly improved location intent detection, while enhanced review highlights increased both session and search click-through rates (CTR), especially benefiting long-tail queries.

Результаты: Сегментация запросов Yelp значительно улучшила определение location intent, а улучшенные review highlights повысили CTR как сессии, так и поиска, особенно выигрывая от long-tail запросов.

Query Recommendations (Spotify) details how they built a hybrid query recommendation system to suggest exploratory search queries alongside direct results. This approach was necessary to support Spotify’s expansion beyond music to podcasts, audiobooks, and diverse content types by helping users explore those content.

Query Recommendations (Spotify) подробно описывает, как они построили гибридную систему рекомендаций запросов для предложения exploratory поисковых запросов наряду с прямыми результатами. Этот подход был необходим для поддержки расширения Spotify за пределы музыки в подкасты, аудиокниги и разнообразные типы контента, помогая пользователям исследовать этот контент.

Spotify generated query suggestions by (i) extracting from catalog titles, playlist names, and podcasts, (ii) mining suggestions from search logs, (iii) leveraging users’ recent searches, (iv) applying metadata and expansion rules (e.g., “artist name” + “covers”), and (v) generating synthetic natural language queries via LLMs. To generate synthetic queries, techniques such as Doc2query and InPars were used to broaden query variations, enhancing exploratory searches and mitigating retrievability bias.

Spotify генерировал предложения запросов путём (i) извлечения из заголовков каталога, имён плейлистов и подкастов, (ii) майнинга предложений из логов поиска, (iii) использования недавних поисков пользователей, (iv) применения правил метаданных и расширения (например, «имя артиста» + «covers») и (v) генерации синтетических естественно-языковых запросов через LLM. Для генерации синтетических запросов использовались техники вроде Doc2query и InPars для расширения вариаций запросов, улучшая exploratory поиски и смягчая retrievability bias.

The query suggestions were then combined with regular results and ranked by a point-wise ranker optimized for downstream user actions like streaming or adding content to playlists. The ranker use features such as lexical matching, query statistics, retrieval scores, and user consumption patterns. For personalization, they relied on vector representations of users and query suggestion candidates.

Предложения запросов затем объединялись с обычными результатами и ранжировались поточечным (point-wise) ранжировщиком, оптимизированным под downstream-действия пользователя вроде стриминга или добавления контента в плейлисты. Ранжировщик использует признаки вроде лексического соответствия, статистики запросов, retrieval-оценок и паттернов потребления пользователей. Для персонализации они полагались на векторные представления пользователей и кандидатов в предложения запросов.

Results: Spotify saw a 9% increase in exploratory intent queries, a 30% rise in maximum query length per user, and a 10% increase in average query length—this suggests the query recommendation updates helped users express more complex intents. An online ablation showed the ranker’s removal caused a 20% decline in clicks on recommendations, underscoring its importance.

Результаты: Spotify увидел рост exploratory intent запросов на 9%, рост максимальной длины запроса на пользователя на 30% и рост средней длины запроса на 10% — это говорит о том, что обновления рекомендаций запросов помогли пользователям выражать более сложные намерения. Онлайн-ablation показал, что удаление ранжировщика привело к падению кликов по рекомендациям на 20%, что подчёркивает его важность.

Playlist Search (Amazon) discusses Amazon’s integration of LLMs into playlist search pipelines to tackle challenges like data scarcity, metadata enrichment, and scalable evaluation while reducing reliance on manual annotation.

Playlist Search (Amazon) обсуждает интеграцию Amazon LLM в пайплайны поиска плейлистов для решения таких задач, как нехватка данных, обогащение метаданных и масштабируемая оценка при снижении зависимости от ручной разметки.

To enrich metadata, they used LLMs (LLM curator) to create detailed descriptions for community playlists based on their initial 15 tracks, capturing themes, genres, activities, and artists. (These community playlists typically only had a playlist title.) This addressed data scarcity in community-generated content. Then, Flan-T5-XL was finetuned to scale this inference process.

Чтобы обогатить метаданные, они использовали LLM (LLM curator) для создания детальных описаний community плейлистов на основе первых 15 треков, улавливая темы, жанры, активности и артистов. (У этих community плейлистов обычно был только заголовок плейлиста.) Это решило проблему нехватки данных в контенте, сгенерированном сообществом. Затем Flan-T5-XL был дообучен для масштабирования процесса инференса.

They also applied LLMs to generate synthetic queries paired with playlists (and associated metadata) to create training data for bi-encoder models. These pairs were generated and scored by an LLM (LLM labeler) to maintain balanced positive and negative examples. Lastly, they used an LLM (LLM judge), guided by human annotations and careful prompting to ensure alignment, to streamline evaluations.

Они также применили LLM для генерации синтетических запросов, спаренных с плейлистами (и связанными метаданными), чтобы создать обучающие данные для bi-encoder моделей. Эти пары генерировались и оценивались LLM (LLM labeler) для поддержания сбалансированных позитивных и негативных примеров. Наконец, они использовали LLM (LLM judge), направляемого человеческими аннотациями и тщательным prompting для обеспечения соответствия, чтобы упростить оценки.

Results: Integrating LLMs led to substantial double-digit recall improvements across benchmarks, SEO, and paraphrasing datasets. Overall, the use of LLMs helped overcome the challenges of data scarcity and evaluation scalability without extensive manual effort.

Результаты: Интеграция LLM привела к существенным двузначным улучшениям recall по бенчмаркам, SEO и датасетам перефразирования. В целом использование LLM помогло преодолеть проблемы нехватки данных и масштабируемости оценки без обширных ручных усилий.

• • •

• • •

Scaling Laws, transfer learning, distillation, LoRAs

Законы масштабирования, transfer learning, дистилляция, LoRA

Another trend is the adoption of training approaches from large language models (LLMs) and computer vision into recommender systems. This includes exploring scaling laws (how model size and data quantity affect performance), using knowledge distillation to transfer insights from large models to smaller, efficient ones, applying cross-domain transfer learning to handle limited data, and parameter-efficient fine-tuning techniques such as LoRAs.

Другой тренд — заимствование подходов к обучению из LLM и компьютерного зрения в рекомендательные системы. Это включает изучение законов масштабирования (как размер модели и объём данных влияют на производительность), использование knowledge distillation для передачи знаний от больших моделей к меньшим эффективным, применение кросс-доменного transfer learning для работы с ограниченными данными и parameter-efficient fine-tuning техник вроде LoRA.

(👉 Recommended read) Scaling Laws investigates how the performance of ID-based sequential recommender models improve as their model size and data scale increase. The authors uncovered a predictable power-law relationship where performance consistently improves as the size of both models and datasets expands.

(👉 Рекомендую к прочтению) Scaling Laws исследует, как производительность ID-based последовательных рекомендательных моделей улучшается с ростом размера модели и масштаба данных. Авторы обнаружили предсказуемое степенное соотношение, где производительность последовательно улучшается с увеличением размера моделей и датасетов.

They adopt a decoder-only transformer architecture, experimenting with models ranging from 98.3K to 0.8B parameters. They evaluated these models on the MovieLens-20M and Amazon-2018 datasets. For the Amazon dataset, interaction records from 29 domains were combined, sorted chronologically, and simplified to include only item IDs without additional metadata. The datasets were then formatted into fixed-length sequences of 50 items each; shorter sequences were padded and longer ones were truncated. The model is then optimized to predict the next item at time step $t + 1$ conditioned on the previous $t$ items.

Они применяют decoder-only трансформер-архитектуру, экспериментируя с моделями от 98.3K до 0.8B параметров. Они оценивали эти модели на датасетах MovieLens-20M и Amazon-2018. Для датасета Amazon записи взаимодействий из 29 доменов были объединены, отсортированы хронологически и упрощены до включения только item ID без дополнительных метаданных. Затем датасеты были отформатированы в последовательности фиксированной длины по 50 объектов каждая; более короткие последовательности дополнялись, а более длинные обрезались. Модель затем оптимизируется для предсказания следующего объекта на временном шаге $t + 1$, обусловленного предыдущими $t$ объектами.

To tackle instability in training larger models, the authors introduced two key improvements. First, they implemented layer-wise adaptive dropout, applying higher dropout rates in lower layers and lower dropout rates in upper layers. The intuition is that lower layers process direct input from data and are more prone to overfitting. Conversely, higher layers build more abstract representations and thus benefit from less dropout to reduce information loss that could lead to underfitting.

Чтобы справиться с нестабильностью при обучении больших моделей, авторы ввели два ключевых улучшения. Во-первых, они реализовали послойный адаптивный dropout, применяя более высокие dropout rate в нижних слоях и более низкие — в верхних. Интуиция в том, что нижние слои обрабатывают прямой вход из данных и более склонны к переобучению. Напротив, верхние слои строят более абстрактные представления и поэтому выигрывают от меньшего dropout, чтобы уменьшить потерю информации, которая могла бы привести к недообучению.

The second improvement was dynamically switching optimizers during training—starting with Adam before switching to stochastic gradient descent (SGD) at a predefined point. This approach is motivated by the observation that Adam quickly reduces loss in early training phases but ultimately SGD achieves better convergence.

Второе улучшение — динамическое переключение оптимизаторов во время обучения: начало с Adam с последующим переключением на stochastic gradient descent (SGD) в заранее определённой точке. Этот подход мотивирован наблюдением, что Adam быстро снижает loss в ранних фазах обучения, но в итоге SGD достигает лучшей сходимости.

Results: Unsurprisingly, increased model capacity (excluding embedding parameters) consistently reduced cross-entropy loss. They modeled this with a power-law curve and accurately predicted performance for larger models (75.5M and 0.8B params). Similarly, they observed that larger models could achieve lower losses even with smaller datasets, whereas smaller models needed more data to reach comparable performance. For example, a smaller 98.3K-parameter model required twice the data (18.5M interactions) compared to a larger 75.5M-parameter model (9.2M interactions) to attain similar performance.

Результаты: Неудивительно, что увеличение ёмкости модели (за исключением параметров эмбеддингов) последовательно снижало cross-entropy loss. Они смоделировали это степенной кривой и точно предсказали производительность для больших моделей (75.5M и 0.8B параметров). Аналогично они наблюдали, что большие модели могут достигать более низких потерь даже при меньших датасетах, тогда как меньшим моделям требовалось больше данных для достижения сопоставимой производительности. Например, меньшая модель на 98.3K параметров требовала вдвое больше данных (18.5M взаимодействий) по сравнению с большей моделью на 75.5M параметров (9.2M взаимодействий) для достижения схожей производительности.

Regarding data repetition, models of sizes 75.5M and 98.3K parameters continued improving beyond a single training epoch, with notable gains observed from two to five epochs. Surprisingly, changing model shape had minimal impact on performance. Ablation studies showed that layer-wise adaptive dropout and optimizer switching substantially enhanced performance in larger models (24 layers), though smaller models (2 layers) remained largely unaffected. Further ablations on five challenging recommendation tasks highlighted the advantage of larger models, particularly for long-tail items and cold-start users.

Что касается повторения данных, модели размером 75.5M и 98.3K параметров продолжали улучшаться за пределами одной эпохи обучения, с заметными приростами от двух до пяти эпох. Что удивительно, изменение формы модели оказывало минимальное влияние на производительность. Ablation-исследования показали, что послойный адаптивный dropout и переключение оптимизаторов существенно улучшали производительность в больших моделях (24 слоя), хотя меньшие модели (2 слоя) оставались в основном незатронутыми. Дальнейшие ablation на пяти сложных рекомендательных задачах подчеркнули преимущество больших моделей, особенно для long-tail объектов и cold-start пользователей.

PrepRec shows how pretraining can be adapted to recommender systems, enabling cross-domain, zero-shot recommendations. The key innovation is leveraging item popularity dynamics derived solely from user interactions, without relying on item metadata.

PrepRec показывает, как pretraining может быть адаптирован к рекомендательным системам, обеспечивая кросс-доменные zero-shot рекомендации. Ключевая инновация — использование динамики популярности объектов, полученной исключительно из пользовательских взаимодействий, без опоры на метаданные объектов.

PrepRec uses popularity statistics calculated over coarse (monthly) and fine (weekly) timescales. These popularity metrics are converted into percentiles and then encoded into vector representations. In addition, the model incorporates relative time intervals between user interactions and uses a fixed positional encoding for each interaction in a user’s sequence. (IMHO, while the approach is effective, it relies on several specialized techniques—coarse vs. fine-grained periods, relative time intervals, and positional encodings—which might limit its generalizability.)

PrepRec использует статистику популярности, рассчитанную на грубых (месячных) и тонких (недельных) временных шкалах. Эти метрики популярности преобразуются в перцентили и затем кодируются в векторные представления. Кроме того, модель включает относительные временные интервалы между пользовательскими взаимодействиями и использует фиксированное позиционное кодирование для каждого взаимодействия в последовательности пользователя. (На мой взгляд, хотя подход эффективен, он опирается на несколько специализированных техник — грубо- vs тонко-зернистые периоды, относительные временные интервалы и позиционные кодирования — что может ограничить его обобщаемость.)

For training, PrepRec has binary cross-entropy as the objective and uses Adam for optimization. The model and baselines have consistent settings: embedding dimension of 50, max sequence length of 200, and batch size of 128. During inference, PrepRec calculates item popularity dynamics from the target domain before generating recommendations via inference on the pretrained model.

Для обучения PrepRec использует binary cross-entropy как цель и Adam для оптимизации. Модель и бейзлайны имеют согласованные настройки: размерность эмбеддинга 50, максимальная длина последовательности 200 и размер батча 128. Во время инференса PrepRec рассчитывает динамику популярности объектов из целевого домена перед генерацией рекомендаций через инференс на предобученной модели.

Results: PrepRec achieves promising zero-shot performance, with only a minor reduction (2-6% recall@10) compared to models like SasREC and BERT4Rec which were specifically trained on the target domains. When trained from scratch on the target domains, PrepRec matches or slightly surpasses these models in regular sequential recommendations despite using just 1-5% of their parameters, thanks to not having item-specific embeddings. Ablations showed that modeling relative time intervals significantly boosted performance, and capturing both coarse and fine-grained popularity trends was essential for tracking evolving user interests.

Результаты: PrepRec достигает многообещающей zero-shot производительности, лишь с небольшим снижением (2-6% recall@10) по сравнению с моделями вроде SasREC и BERT4Rec, которые специально обучались на целевых доменах. При обучении с нуля на целевых доменах PrepRec соответствует или слегка превосходит эти модели в обычных последовательных рекомендациях, несмотря на использование всего 1-5% их параметров, благодаря отсутствию item-специфических эмбеддингов. Ablation-исследования показали, что моделирование относительных временных интервалов значительно повышает производительность, и улавливание как грубых, так и тонких трендов популярности было существенно для отслеживания эволюционирующих интересов пользователей.

E-CDCTR (Meituan) demonstrates the potential of transfer learning by using organic item data to improve click-through rate (CTR) predictions in advertising, tackling the challenge of sparse ad data.

E-CDCTR (Meituan) демонстрирует потенциал transfer learning, используя органические данные об объектах для улучшения предсказаний CTR в рекламе, решая задачу разреженных рекламных данных.

E-CDCTR has three components: the tiny pretraining model (TPM), complete pretraining model (CPM), and advertising CTR model (A-CTR). The TPM, a lightweight model with just embedding and MLP layers, trains monthly on six months of organic impressions and clicks. It captures long-term collaborative filtering signals via historical user and item embeddings. Features include user and item IDs, category IDs, etc.

E-CDCTR имеет три компонента: tiny pretraining model (TPM), complete pretraining model (CPM) и advertising CTR model (A-CTR). TPM — лёгкая модель с просто слоями эмбеддингов и MLP, обучается ежемесячно на шести месяцах органических показов и кликов. Она улавливает долгосрочные сигналы collaborative filtering через исторические эмбеддинги пользователей и объектов. Признаки включают user и item ID, category ID и т.д.

Next, the CPM pretrains a CTR model weekly using the most recent month’s organic data and using the user and item embeddings learned by TPM. Finally, the A-CTR model is initialized from the CPM and finetuned daily on advertising-specific data. A-CTR also uses user and item embeddings from the TPM. A-CTR also uses richer features such as user behavior sequences, user context, item metadata, and feature interactions, resulting in a more sophisticated model architecture that includes sequential input, feature crosses, and a larger MLP layer.

Далее CPM предобучает CTR-модель еженедельно, используя органические данные за самый последний месяц и используя эмбеддинги пользователей и объектов, выученные TPM. Наконец, A-CTR модель инициализируется из CPM и дообучается ежедневно на специфических для рекламы данных. A-CTR также использует эмбеддинги пользователей и объектов от TPM. A-CTR также использует более богатые признаки, такие как последовательности пользовательского поведения, пользовательский контекст, метаданные объектов и feature interactions, что приводит к более сложной архитектуре модели, включающей последовательный вход, feature crosses и больший MLP слой.

For online inference, E-CDCTR employs user and item embeddings generated by TPM from the past three months. The A-CTR model then uses these embeddings to predict the advertising CTR. (The authors mention using self-attention to combine embeddings but provide limited details on training it.)

Для онлайн-инференса E-CDCTR использует эмбеддинги пользователей и объектов, сгенерированные TPM за последние три месяца. Модель A-CTR затем использует эти эмбеддинги для предсказания CTR рекламы. (Авторы упоминают использование self-attention для объединения эмбеддингов, но предоставляют ограниченные детали о его обучении.)

Results: E-CDCTR outperforms cross-domain baselines such as KEEP, CoNet, DARec, and MMoE. Ablation studies confirm the value of both TPM and CPM, with CPM having a more substantial impact. In addition, extending historical embeddings from one to three months further enhanced performance, whereas simply merging advertising data with organic data did not yield improvements.

Результаты: E-CDCTR превосходит кросс-доменные бейзлайны, такие как KEEP, CoNet, DARec и MMoE. Ablation-исследования подтверждают ценность как TPM, так и CPM, причём CPM оказывает более существенное влияние. Кроме того, расширение исторических эмбеддингов с одного до трёх месяцев дополнительно повысило производительность, тогда как простое слияние рекламных данных с органическими не дало улучшений.

Bridging the Gap (YouTube) shares insights on applying knowledge distillation in large-scale personalized video recommendations at YouTube.

Bridging the Gap (YouTube) делится инсайтами по применению knowledge distillation в крупномасштабных персонализированных видео-рекомендациях YouTube.

Their recommenders are multi-objective pointwise models for ranking videos. These models simultaneously optimizing short-term objectives like video CTR and long-term objectives like the estimated long-value value of a user. Their models typically feature a teacher-student setup, with the teacher and student models sharing similar architectures though the teacher model is 2 - 4x larger than the student model.

Их рекомендеры — мультицелевые поточечные модели для ранжирования видео. Эти модели одновременно оптимизируют краткосрочные цели вроде video CTR и долгосрочные цели вроде оценочной долгосрочной ценности пользователя. Их модели обычно имеют teacher-student настройку, причём teacher и student модели имеют схожие архитектуры, хотя teacher модель в 2 - 4 раза больше student модели.

However, distribution shifts between teacher and student can cause biases. To address this, the authors propose an auxiliary distillation strategy—instead of directly using the teacher’s predictions (soft labels), they decouple the hard labels from the soft teacher predictions via separate task logits. This enables the student model to effectively learn from the teacher without inheriting unwanted biases.

Однако смещения распределений между teacher и student могут вызывать смещения. Чтобы решить это, авторы предлагают вспомогательную стратегию дистилляции — вместо прямого использования предсказаний teacher (soft labels) они отделяют hard labels от soft предсказаний teacher через отдельные task logits. Это позволяет student модели эффективно учиться у teacher без наследования нежелательных смещений.

To amortize the cost of training the large teacher model, they have a single teacher improve multiple student models. As a result, a single teacher model can provide distilled knowledge to various specialized recommendation tasks, reducing redundancy and computational overhead. Teacher labels are stored in a columnar database that prioritizes read performance for the students during training.

Чтобы амортизировать стоимость обучения большой teacher модели, у них один teacher улучшает несколько student моделей. В результате один teacher может предоставлять дистиллированные знания различным специализированным задачам рекомендаций, снижая избыточность и вычислительные накладные расходы. Teacher-метки хранятся в колоночной базе данных, которая приоритизирует производительность чтения для student во время обучения.

Results: The auxiliary distillation strategy delivered a 0.4% improvement in E(LTV) prediction compared to direct distillation methods, which performed similarly to models without distillation. This confirms the auxiliary distillation approach’s effectiveness in reducing teacher noise. In ablation studies on teacher size, even a modest teacher (2x the student’s size) led to meaningful improvements (+0.42% engagement, +0.34% satisfaction) while a 4x teacher led to +0.43% engagement and +0.46% satisfaction.

Результаты: Стратегия вспомогательной дистилляции дала улучшение на 0.4% в предсказании E(LTV) по сравнению с методами прямой дистилляции, которые показали результаты, схожие с моделями без дистилляции. Это подтверждает эффективность подхода вспомогательной дистилляции в снижении teacher noise. В ablation-исследованиях по размеру teacher даже скромный teacher (в 2 раза больше student) приводил к значимым улучшениям (+0.42% engagement, +0.34% satisfaction), тогда как 4x teacher давал +0.43% engagement и +0.46% satisfaction.

Similarly, Self-Auxiliary Distillation (Google) introduces a distillation framework aimed at improving sample efficiency for large-scale recommendation models.

Аналогично, Self-Auxiliary Distillation (Google) вводит фреймворк дистилляции, направленный на улучшение эффективности использования образцов для крупномасштабных рекомендательных моделей.

The core idea is to prioritize training on high-quality labels while improving the resolution of lower-quality labels. The intuition is that positive labels provide more signal than negative labels when predicting CTR, thus it makes sense to prioritize them. On the other hand, negative labels are closer to weak positives than an absolute zero—thus, representing them with an estimated CTR value offers better training signal.

Основная идея — приоритизировать обучение на высококачественных метках при улучшении разрешения меток более низкого качества. Интуиция в том, что позитивные метки дают больше сигнала, чем негативные, при предсказании CTR, поэтому имеет смысл приоритизировать их. С другой стороны, негативные метки ближе к слабо позитивным, чем к абсолютному нулю — поэтому представление их оценочным значением CTR даёт лучший обучающий сигнал.

The model has a shared bottom tower with two heads: the main head (teacher) is trained directly on ground-truth labels, serving as the primary inference model and generating calibrated soft labels. Calibration is maintained by ensuring the mean prediction matches the mean of actual labels. The auxiliary head (student) learns from a mixture of these soft teacher labels and original labels, helping stabilize the training process. Specifically, the auxiliary head has a bilateral branch where one branch distills knowledge from the teacher’s soft labels and the other learns from the hard ground-truth label. A selector merges the labels from both branches using functions such as $max(y, y’)$.

Модель имеет общую нижнюю башню с двумя головами: главная голова (teacher) обучается напрямую на ground-truth метках, служа основной inference моделью и генерируя калиброванные soft labels. Калибровка поддерживается путём обеспечения того, чтобы среднее предсказаний соответствовало среднему фактических меток. Вспомогательная голова (student) обучается на смеси этих soft teacher labels и оригинальных меток, помогая стабилизировать процесс обучения. В частности, вспомогательная голова имеет двустороннюю ветвь, где одна ветвь дистиллирует знания из soft labels teacher, а другая обучается на hard ground-truth метках. Селектор объединяет метки из обеих ветвей, используя функции вроде $max(y, y')$.

Results: Self-attention distillation consistently improved recommendation quality across multiple domains including apps, commerce, and video recommendations. Ablations show that training on original ground-truth labels primarily drives performance gains, while the distillation component significantly stabilizes and aligns the model’s predictions. Training exclusively on ground-truth labels showed inconsistent results while training on the distillation labels only didn’t lead to improvements.

Результаты: Self-attention дистилляция последовательно улучшала качество рекомендаций по нескольким доменам, включая приложения, коммерцию и рекомендации видео. Ablation показывают, что обучение на оригинальных ground-truth метках в основном обеспечивает прирост производительности, тогда как компонент дистилляции значительно стабилизирует и выравнивает предсказания модели. Обучение исключительно на ground-truth метках показало непоследовательные результаты, тогда как обучение только на дистилляционных метках не привело к улучшениям.

DLLM2Rec shows how to distill recommendation knowledge from LLMs into lightweight, conventional sequential recommendation models, making deployment more practical. The paper identifies three main challenges: (i) unreliable teacher knowledge/labels, (ii) the capability gap between teacher and student models, and (iii) semantic divergence between the teacher’s and student’s embedding spaces.

DLLM2Rec показывает, как дистиллировать рекомендательные знания из LLM в лёгкие, обычные последовательные рекомендательные модели, делая развёртывание более практичным. Работа выделяет три основные проблемы: (i) ненадёжные знания/метки teacher, (ii) разрыв возможностей между teacher и student моделями и (iii) семантическое расхождение между пространствами эмбеддингов teacher и student.

To tackle these issues, DLLM2Rec adopts two key strategies: importance-aware ranking distillation and collaborative embedding distillation. Importance-aware ranking distillation focuses on selecting reliable instances for training via importance weights. These weights consider factors like ranking position (prioritizing items ranked higher by the teacher), teacher confidence (evaluated through content similarity between generated descriptions and actual items), and the consistency between the teacher’s and student’s recommendations. Meanwhile, collaborative embedding distillation involves using a learnable MLP to effectively translate embeddings from the teacher’s semantic space into the student’s space.

Чтобы решить эти проблемы, DLLM2Rec применяет две ключевые стратегии: importance-aware ranking distillation и collaborative embedding distillation. Importance-aware ranking distillation фокусируется на выборе надёжных образцов для обучения через importance weights. Эти веса учитывают такие факторы, как позиция в ранжировании (приоритет объектам, ранжированным выше teacher), уверенность teacher (оцениваемая через семантическое сходство между сгенерированными описаниями и реальными объектами) и согласованность между рекомендациями teacher и student. Тем временем, collaborative embedding distillation включает использование обучаемого MLP для эффективного перевода эмбеддингов из семантического пространства teacher в пространство student.

In their experiments, they use BIGRec (built on Llama2-7B) as the teacher and three popular sequential models (GRU4Rec, SASRec, and DROS) as students.

В своих экспериментах они используют BIGRec (построенный на Llama2-7B) как teacher и три популярные последовательные модели (GRU4Rec, SASRec и DROS) как student.

Results: DLLM2Rec boosts the performance of student models, showing an average improvement of 47.97% across three datasets (Amazon Video Games, MovieLens-10M, and Amazon Toys and Games) when evaluating hit rate@k and NDCG@k (see Table 5 in the paper). Additionally, inference time dropped significantly, from 3-6 hours with the teacher model down to just 1.6-1.8 seconds with DLLM2Rec.

Результаты: DLLM2Rec повышает производительность student моделей, показывая среднее улучшение 47.97% по трём датасетам (Amazon Video Games, MovieLens-10M и Amazon Toys and Games) при оценке hit rate@k и NDCG@k (см. Таблицу 5 в статье). Кроме того, время инференса значительно снизилось — с 3-6 часов с teacher моделью до 1.6-1.8 секунды с DLLM2Rec.

MLoRA (Alibaba) describes using domain-specific LoRAs (low-rank adapters) to enhance multi-domain CTR prediction models. It addresses two common problems: data sparsity (limited data per domain) and domain diversity (variations across domains) that typically arise when training either separate models or a single combined model respectively.

MLoRA (Alibaba) описывает использование доменно-специфических LoRA (low-rank adapters) для улучшения моделей предсказания CTR в нескольких доменах. Он решает две распространённые проблемы: разреженность данных (ограниченные данные на домен) и доменное разнообразие (вариации между доменами), которые обычно возникают при обучении либо отдельных моделей, либо одной объединённой модели соответственно.

They adopt a two-step training process. First, they pretrained a shared backbone network on extensive, multi-domain data to learn generalizable patterns across domains. Then, they freeze the backbone and finetune domain-specific LoRAs on each domain’s unique data. A key challenge was adapting LoRA ranks layer-by-layer due to varying dimensions in CTR model layers. (Recommender models have different dimentions per layer unlike language models which typically have uniform dimensions.) In their experiments, all models had hidden layers of 256, 128, and 64 dimensions.

Они применяют двухэтапный процесс обучения. Сначала они предобучают общий backbone сеть на обширных мульти-доменных данных, чтобы выучить обобщающие паттерны между доменами. Затем они замораживают backbone и дообучают доменно-специфические LoRA на уникальных данных каждого домена. Ключевая задача — адаптировать ранги LoRA послойно из-за варьирующихся размерностей в слоях CTR модели. (Рекомендательные модели имеют разные размерности на слой в отличие от языковых моделей, которые обычно имеют единообразные размерности.) В их экспериментах все модели имели скрытые слои размерности 256, 128 и 64.

To get a sense of data distribution differences between pretraining and finetuning: During their A/B test, the pretrained backbone used 13 billion samples spanning 90 days from 10 domains, whereas finetuning involved 3.2 billion samples from just 21 days.

Чтобы представить разницу распределения данных между pretraining и finetuning: во время их A/B теста предобученный backbone использовал 13 миллиардов сэмплов за 90 дней из 10 доменов, тогда как finetuning включал 3.2 миллиарда сэмплов всего за 21 день.

Results: MLoRA increased AUC by 0.5% across datasets such as Taobao-10, Amazon-6, and MovieLens. Ablation studies showed that domains with smaller datasets and higher inter-domain differences benefited more. They also found that simpler models (like MLP) performed best with lower LoRA ranks (32), while more complex models (like DeepFM) benefited from higher ranks (64 - 128). A/B testing showed substantial business gains—a 1.49% lift in CTR, a 3.37% boost in conversions, and a 2.71% increase in paid buyers—with only a modest 1.76% rise in model complexity due to the use of LoRAs.

Результаты: MLoRA увеличил AUC на 0.5% по таким датасетам, как Taobao-10, Amazon-6 и MovieLens. Ablation-исследования показали, что домены с меньшими датасетами и более высокими меж-доменными различиями выигрывали больше. Они также обнаружили, что более простые модели (вроде MLP) лучше работали с более низкими рангами LoRA (32), тогда как более сложные модели (вроде DeepFM) выигрывали от более высоких рангов (64 - 128). A/B-тестирование показало существенный бизнес-прирост — лифт CTR на 1.49%, рост конверсий на 3.37% и увеличение платных покупателей на 2.71% — при лишь скромном росте сложности модели на 1.76% за счёт использования LoRA.

Taming One-Epoch (Pinterest) highlights the challenge of models overfitting after just one training epoch, primarily due to the long-tail nature of recommendation data. (Perhaps the Scaling Laws paper above, which showed gains beyond one epoch, used datasets (i.e., Amazon and MovieLens) that had the long-tail filtered out.) This overfitting arises because tail entries have far more degrees of freedom compared to the limited training examples available.

Taming One-Epoch (Pinterest) подчёркивает проблему переобучения моделей всего после одной эпохи обучения, в основном из-за long-tail природы рекомендательных данных. (Возможно, работа Scaling Laws выше, которая показала приросты за пределами одной эпохи, использовала датасеты (Amazon и MovieLens), у которых long-tail был отфильтрован.) Это переобучение возникает потому, что tail записи имеют гораздо больше степеней свободы по сравнению с ограниченным числом доступных обучающих примеров.

Here’s more context on the “one-epoch problem”: In online experiments, they saw that deep CTR models without ID embeddings typically require multiple epochs to converge. However, introducing ID embeddings often causes performance to peak after just one epoch, leading to worse results compared to multi-epoch training without ID embeddings.

Вот больше контекста о «проблеме одной эпохи»: в онлайн-экспериментах они увидели, что глубокие CTR-модели без ID эмбеддингов обычно требуют нескольких эпох для сходимости. Однако введение ID эмбеддингов часто заставляет производительность достигать пика всего после одной эпохи, что приводит к худшим результатам по сравнению с многоэпохным обучением без ID эмбеддингов.

Their solution involves two distinct stages. In the first stage, they pretrain foundational ID embeddings using a minimal dot-product model combined with contrastive loss, utilizing in-batch and uniformly random negatives. This contrastive approach reduces the effective dimensionality of tail entries, minimizing overfitting. Moreover, because the pretraining step is relatively lightweight, they can use a much larger dataset—around ten times the engagement data compared to the downstream recommendation model.

Их решение включает два различных этапа. На первом этапе они предобучают базовые ID эмбеддинги, используя минимальную dot-product модель в сочетании с contrastive loss, применяя in-batch и равномерно случайные негативы. Этот contrastive подход уменьшает эффективную размерность tail записей, минимизируя переобучение. Более того, поскольку этап предобучения относительно лёгкий, они могут использовать гораздо больший датасет — примерно в десять раз больше engagement-данных по сравнению с downstream рекомендательной моделью.

In the second stage, the pretrained embeddings are finetuned in task-specific models for multiple epochs. By separating embedding pretraining from downstream finetuning, they mitigate overfitting and get better results compared to merely freezing the embeddings.

На втором этапе предобученные эмбеддинги дообучаются в задаче-специфических моделях в течение нескольких эпох. Разделяя предобучение эмбеддингов и downstream finetuning, они смягчают переобучение и получают лучшие результаты по сравнению с простым замораживанием эмбеддингов.

Results: In Figure 2 above, the typical binary cross-entropy (BCE) loss tends to overfit after the first epoch, whereas the contrastive loss remains stable. Ablation studies revealed that a single-stage training method underperformed relative to baseline models due to severe overfitting (−3.347% for Homefeed and −1.907% for Related Pins). Conversely, the two-stage training consistently yielded superior results (+1.323% Homefeed, +2.187% Related Pins), and in online A/B tests, led to a significant overall engagement lift of 2.2%.

Результаты: На Рисунке 2 выше типичный binary cross-entropy (BCE) loss склонен к переобучению после первой эпохи, тогда как contrastive loss остаётся стабильным. Ablation-исследования показали, что одноэтапный метод обучения уступал бейзлайн моделям из-за серьёзного переобучения (−3.347% для Homefeed и −1.907% для Related Pins). Напротив, двухэтапное обучение последовательно давало превосходные результаты (+1.323% Homefeed, +2.187% Related Pins) и в онлайн A/B тестах привело к значительному общему лифту вовлечённости на 2.2%.

Sliding Window Training (Netflix) describes their method for efficiently training on long user history sequences without incurring the memory and latency costs associated with large input sizes. One workaround is to truncate user historical interactions—however, this comes at the cost of not using valuable information from the entire user journey.

Sliding Window Training (Netflix) описывает их метод эффективного обучения на длинных последовательностях пользовательской истории без накладных расходов памяти и задержек, связанных с большими размерами входа. Один обходной путь — обрезать исторические взаимодействия пользователя — однако это происходит ценой неиспользования ценной информации из всего пути пользователя.

Their solution is elegantly simple. Assuming a baseline model that only handles sequences of up to 100 items, they introduce a sliding window sampler during training. This sampler selects different segments of user history in each training epoch, allowing the model to learn on long-term user patterns. Additionally, they experimented with mixing epochs—some focused exclusively on sliding windows, while others emphasized only the latest 100 interactions—to balance between recent user behavior and historical preferences.

Их решение элегантно простое. Предполагая бейзлайн модель, которая обрабатывает только последовательности до 100 объектов, они вводят sliding window сэмплер во время обучения. Этот сэмплер выбирает разные сегменты пользовательской истории в каждой эпохе обучения, позволяя модели учиться на долгосрочных паттернах пользователя. Кроме того, они экспериментировали со смешиванием эпох — некоторые фокусировались исключительно на sliding windows, а другие подчёркивали только последние 100 взаимодействий — чтобы сбалансировать недавнее поведение пользователя и исторические предпочтения.

Results: Offline evaluations showed the sliding window method consistently outperformed models trained solely on the most recent 100 interactions. Specifically, a pure sliding window variant slightly reduced Mean Reciprocal Rank (MRR) by 1.2%, but improved Mean Average Precision (MAP) by 1.5% and recall significantly by 7.01%. Hybrid approaches combining sliding windows with recent interactions, and extending input sequence lengths to 500 or even 1000 items, delivered the best overall performance. However, these extended approaches had slightly worse perplexity, indicating a trade-off between predictive confidence and actual recommendation performance.

Результаты: Офлайн-оценки показали, что метод sliding window последовательно превосходил модели, обученные исключительно на последних 100 взаимодействиях. В частности, чистый вариант sliding window слегка снизил Mean Reciprocal Rank (MRR) на 1.2%, но улучшил Mean Average Precision (MAP) на 1.5% и recall значительно на 7.01%. Гибридные подходы, сочетающие sliding windows с недавними взаимодействиями и расширяющие длины входных последовательностей до 500 или даже 1000 объектов, дали лучшую общую производительность. Однако эти расширенные подходы имели несколько худшую perplexity, что указывает на компромисс между предсказательной уверенностью и фактической производительностью рекомендаций.

• • •

• • •

Unified architectures for search and recommendations

Унифицированные архитектуры для поиска и рекомендаций

The final theme highlights a growing shift toward unified system architectures that blend search and recommendations, drawing inspiration from foundation models. Instead of deploying multiple single-task models, recent papers present unified frameworks capable of handling diverse retrieval and ranking tasks within a shared infrastructure. For example, LinkedIn’s 360Brew and Netflix’s UniCoRn show how unified models trained on multiple tasks can outperform specialized, single-task counterparts.

Финальная тема подсвечивает растущий сдвиг к унифицированным архитектурам систем, которые объединяют поиск и рекомендации, черпая вдохновение из foundation models. Вместо развёртывания нескольких однозадачных моделей недавние работы представляют унифицированные фреймворки, способные обрабатывать разнообразные задачи retrieval и ранжирования в рамках общей инфраструктуры. Например, 360Brew от LinkedIn и UniCoRn от Netflix показывают, как унифицированные модели, обученные на нескольких задачах, могут превзойти специализированные однозадачные аналоги.

Bridging Search & Recommendations (Spotify) demonstrates the advantages of training a unified generative retrieval model on both search and recommendation data, rather than separately, and how it can outperform task-specific models.

Bridging Search & Recommendations (Spotify) демонстрирует преимущества обучения унифицированной генеративной retrieval модели как на данных поиска, так и рекомендаций, а не отдельно, и как она может превзойти задачно-специфические модели.

In their approach, a generative recommender predicts item IDs based on a user’s past interactions, while a generative search retriever predicts item IDs from tokenized search queries. The underlying model builds upon Flan-T5-base, extending the vocabulary to include all item IDs with one additional token per item. These models are trained auto-regressively using teacher forcing and cross-entropy loss, aiming to accurately predict the next relevant item ID. During inference, item IDs are generated directly from either a user’s interaction history (for recommendations) or a text query (for search).

В их подходе генеративный рекомендер предсказывает item ID на основе прошлых взаимодействий пользователя, тогда как генеративный поисковый retriever предсказывает item ID из токенизированных поисковых запросов. Базовая модель построена на Flan-T5-base, расширяя словарь, чтобы включить все item ID с одним дополнительным токеном на объект. Эти модели обучаются авторегрессивно с использованием teacher forcing и cross-entropy loss, стремясь точно предсказать ID следующего релевантного объекта. Во время инференса item ID генерируются напрямую либо из истории взаимодействий пользователя (для рекомендаций), либо из текстового запроса (для поиска).

Evaluation is done via standard recall metrics (recall@10 for simulated datasets, recall@30 for real-world datasets) against common baselines like BM25, SASRec, and BERT4Rec.

Оценка проводится через стандартные метрики recall (recall@10 для симулированных датасетов, recall@30 для реальных датасетов) против общих бейзлайнов вроде BM25, SASRec и BERT4Rec.

Results: Jointly trained multi-task models outperformed their single-task counterparts, achieving an average increase of 16% in recall@30. On the Podcasts dataset, the unified model significantly improved performance by +33% across both tasks, especially for torso items (those outside the top 1%), showing gains of 262% for recommendations and 855% for search.

Результаты: Совместно обученные мультизадачные модели превзошли свои однозадачные аналоги, достигнув среднего роста на 16% в recall@30. На датасете подкастов унифицированная модель значительно улучшила производительность на +33% по обеим задачам, особенно для torso объектов (вне топ-1%), показав приросты 262% для рекомендаций и 855% для поиска.

While the research wasn’t focused on replacing conventional models, the comparisons against behavioral baselines were insightful. Across three datasets, generative models consistently lagged behind specialized recommendation baselines (SASRec, BERT4Rec) significantly (green below). Similarly, for search, traditional baselines (BM25, Bi-encoder) were still superior (green below). This indicates that generative retrieval models are still far from fully replacing conventional methods.

Хотя исследование не было сосредоточено на замене обычных моделей, сравнения с поведенческими бейзлайнами были информативными. По трём датасетам генеративные модели последовательно значительно отставали от специализированных рекомендательных бейзлайнов (SASRec, BERT4Rec) (зелёный ниже). Аналогично для поиска традиционные бейзлайны (BM25, Bi-encoder) всё ещё превосходили (зелёный ниже). Это говорит о том, что генеративные retrieval модели всё ещё далеки от полной замены обычных методов.

(👉 Recommended read) 360Brew (LinkedIn) consolidates several ID-based ranking models into a single large 150B decoder-only model equipped with a natural language interface, effectively replacing traditional feature engineering with prompt engineering.

(👉 Рекомендую к прочтению) 360Brew (LinkedIn) консолидирует несколько ID-based моделей ранжирования в одну большую 150B decoder-only модель, оснащённую интерфейсом естественного языка, эффективно заменяя традиционный feature engineering на prompt engineering.

360Brew builds upon the Mixtral-8x22B pretrained Mixture-of-Experts model. Its fine-tuning dataset includes 3-6 months of interactions from roughly 45 million monthly active users in the US, encompassing member profiles, job descriptions, posts, and various interaction logs—all transformed into a text-based format.

360Brew построен на предобученной Mixture-of-Experts модели Mixtral-8x22B. Его fine-tuning датасет включает 3-6 месяцев взаимодействий примерно от 45 миллионов ежемесячных активных пользователей в США, охватывающих профили членов, описания вакансий, посты и различные логи взаимодействий — всё преобразовано в текстовый формат.

Training involves three key stages. First, continuous pretraining (CPT) is done with a maximum context length of 16K tokens with packing techniques. Next, instruction fine-tuning (IFT) is performed using a mix of open-source datasets (such as UltraChat) and internally generated instruction-following data. Finally, supervised fine-tuning (SFT) applies multi-turn chat templates designed to enhance the model’s understanding of member-entity interactions, improving its predictive capabilities across specific user interfaces.

Обучение включает три ключевых этапа. Сначала continuous pretraining (CPT) выполняется с максимальной длиной контекста 16K токенов с техниками упаковки. Далее выполняется instruction fine-tuning (IFT) с использованием смеси open-source датасетов (таких как UltraChat) и внутренне сгенерированных данных следования инструкциям. Наконец, supervised fine-tuning (SFT) применяет multi-turn chat шаблоны, разработанные для улучшения понимания моделью взаимодействий member-entity, улучшая её предсказательные возможности на конкретных пользовательских интерфейсах.

The model was trained on 256-512 H100 GPUs using FSDP, and production deployment adopts vLLM and inference-time RoPE scaling. 360Brew focuses on binary prediction tasks, such as whether a user will like a posts, and uses token logits to assign scores.

Модель была обучена на 256-512 H100 GPU с использованием FSDP, а продакшен-развёртывание использует vLLM и inference-time RoPE scaling. 360Brew фокусируется на задачах бинарного предсказания, например, понравится ли пользователю пост, и использует token logits для присвоения оценок.

Results: The unified model supports over 30 different ranking tasks across LinkedIn’s platforms, matching or surpassing specialized production models while reducing complexity and maintenance overhead. The researchers also found that the unified model improved substantially with more data—while initial iterations performed poorly, tripling the dataset resulted in performance exceeding specialized models (Figure 2 below). Additionally, larger models consistently outperformed smaller versions (8x22B > 8x7B > 7B). Also, 360Brew delivered strong performance for cold-start users, outperforming traditional models by a wider margin when user interaction data was limited.

Результаты: Унифицированная модель поддерживает более 30 различных задач ранжирования на платформах LinkedIn, соответствуя или превосходя специализированные продакшен-модели, при этом снижая сложность и накладные расходы на поддержку. Исследователи также обнаружили, что унифицированная модель существенно улучшалась с большим количеством данных — хотя начальные итерации работали плохо, утроение датасета привело к производительности, превышающей специализированные модели (Рисунок 2 ниже). Кроме того, более крупные модели последовательно превосходили меньшие версии (8x22B > 8x7B > 7B). Также 360Brew показал сильную производительность для cold-start пользователей, превосходя традиционные модели с большим отрывом, когда данные о взаимодействиях пользователей были ограничены.

Similarly, UniCoRn (Netflix) introduces a unified contextual ranker designed to serve both search and recommendation tasks through a shared contextual framework. This unified model achieves comparable or better performance than multiple specialized models, thus reducing operational complexity.

Аналогично, UniCoRn (Netflix) представляет унифицированный контекстный ранжировщик, разработанный для обслуживания как задач поиска, так и рекомендаций через общий контекстный фреймворк. Эта унифицированная модель достигает сопоставимой или лучшей производительности, чем несколько специализированных моделей, тем самым снижая операционную сложность.

The UniCoRn model uses contextual information such as user ID, search queries, country, source entity ID, and task type, predicting the probability of positive engagement with a target entity (e.g., a movie). Since not all contexts are always available, heuristics are used to impute missing data. For example, missing source entity IDs in search tasks are imputed as null, and missing query contexts in recommendation tasks use the entity’s display names.

Модель UniCoRn использует контекстную информацию, такую как user ID, поисковые запросы, страна, source entity ID и тип задачи, предсказывая вероятность позитивного вовлечения с целевой сущностью (например, фильмом). Поскольку не все контексты всегда доступны, используются эвристики для заполнения отсутствующих данных. Например, отсутствующие source entity ID в задачах поиска заполняются как null, а отсутствующие контексты запросов в задачах рекомендаций используют display names сущности.

UniCoRn incorporates two broad feature categories: context-specific features (like query length and source entity embeddings) and combined context-target features (such as click counts for a target entity in response to a query). The architecture includes embedding layers for categorical features, enhanced with residual connections and feature crossing.

UniCoRn включает две широкие категории признаков: контекстно-специфические признаки (вроде длины запроса и эмбеддингов source entity) и объединённые признаки context-target (такие как количество кликов для целевой сущности в ответ на запрос). Архитектура включает слои эмбеддингов для категориальных признаков, дополненные residual connections и feature crossing.

Training uses binary cross-entropy loss and the Adam optimizer. Netflix incrementally increased personalization: starting from a semi-personalized model using user clusters, progressing to including outputs from other recommendation models, and finally incorporating pretrained and fine-tuned user and item embeddings.

Обучение использует binary cross-entropy loss и Adam оптимизатор. Netflix инкрементально увеличивал персонализацию: начиная с полу-персонализированной модели на кластерах пользователей, прогрессируя к включению выходов от других моделей рекомендаций и наконец включая предобученные и дообученные эмбеддинги пользователей и объектов.

Results: UniCoRn consistently matched or exceeded specialized models. Personalization boosted outcomes, delivering a 10% improvement in recommendations and a 7% lift in search. Ablation studies showed the importance of explicitly including the task type as context, imputing missing features to maximize feature coverage, and applying feature crossing to enhance multi-task learning effectiveness.

Результаты: UniCoRn последовательно соответствовал или превосходил специализированные модели. Персонализация улучшила результаты, обеспечив улучшение на 10% в рекомендациях и лифт 7% в поиске. Ablation-исследования показали важность явного включения типа задачи как контекста, заполнения отсутствующих признаков для максимизации покрытия признаков и применения feature crossing для повышения эффективности multi-task learning.

(👉 Recommended read) Unified Embeddings (Etsy) shares how they unified transformer-based, term-based, and graph-based embeddings within a two-tower model architecture. This goal was to address common gaps such as mismatches between search queries and product vocabulary (lexical matching) and the poor performance of neural embeddings due to limited user context.

(👉 Рекомендую к прочтению) Unified Embeddings (Etsy) рассказывает, как они унифицировали transformer-based, term-based и graph-based эмбеддинги в архитектуре two-tower модели. Целью было устранить распространённые пробелы, такие как несоответствия между поисковыми запросами и словарём товаров (лексическое сопоставление) и плохая производительность нейронных эмбеддингов из-за ограниченного пользовательского контекста.

Their model adopts a classic two-tower structure, consisting of a product encoder and a joint query-user encoder. The product encoder combines transformer-based embeddings, bipartite graph embeddings (trained using a full year of query-product interaction data), product title embeddings, and location information. Interestingly, direct finetuning of transformer-based models like distilBERT and T5 did not yield significant offline metric improvements. Instead, inspired by docT5query, they pretrained a T5-small model specifically designed to predict historically purchased queries based on product descriptions. The query-user encoder combines query text embeddings, location, and historical engagement data. Both query/title and location embeddings are shared across the two towers for consistency.

Их модель использует классическую two-tower структуру, состоящую из энкодера товаров и объединённого энкодера query-user. Энкодер товаров объединяет transformer-based эмбеддинги, эмбеддинги двудольного графа (обученные на годовых данных взаимодействий query-product), эмбеддинги заголовков товаров и информацию о локации. Интересно, что прямой finetuning transformer-based моделей вроде distilBERT и T5 не дал значительных улучшений офлайн-метрик. Вместо этого, вдохновлённые docT5query, они предобучили модель T5-small, специально разработанную для предсказания исторически приобретённых запросов на основе описаний товаров. Энкодер query-user объединяет текстовые эмбеддинги запроса, локацию и данные исторического вовлечения. И эмбеддинги query/title, и эмбеддинги локации разделяются между двумя башнями для согласованности.

They emphasize the effectiveness of negative sampling, sharing multiple approaches such as hard in-batch negatives (positives from other queries within the batch), uniform negatives (randomly selected from the entire product corpus), and dynamic hard negatives (random samples narrowed down by the model to identify the most challenging examples). The goal here is to find the most similar negatives to help the model learn on the hardest samples.

Они подчёркивают эффективность negative sampling, делясь несколькими подходами, такими как hard in-batch негативы (позитивы из других запросов внутри батча), uniform негативы (случайно выбранные из всего корпуса товаров) и dynamic hard негативы (случайные сэмплы, сужённые моделью для выявления самых сложных примеров). Цель здесь — найти наиболее похожие негативы, чтобы помочь модели учиться на самых сложных образцах.

To balance relevance with product quality, they integrated quality boosting into their embeddings via an approximate nearest neighbor (ANN) index. Product embeddings are augmented with query-independent quality scores reflecting attributes such as product ratings, freshness, and conversion rates—factors proven to increase engagement independently from query relevance. Given the original product embeddings, they concatenate it with the quality score vectors; the respective query embedding is concatenated with a constant vector. The final score of the product, for a query, is the dot product of the updated product and query embedding.

Чтобы сбалансировать релевантность с качеством товара, они интегрировали quality boosting в свои эмбеддинги через approximate nearest neighbor (ANN) индекс. Эмбеддинги товаров дополнены query-independent оценками качества, отражающими атрибуты вроде рейтингов товара, свежести и conversion rates — факторов, доказанно увеличивающих вовлечение независимо от релевантности запроса. Учитывая исходные эмбеддинги товаров, они конкатенируют их с векторами оценок качества; соответствующий эмбеддинг запроса конкатенируется с постоянным вектором. Финальная оценка товара для запроса — это dot product обновлённых эмбеддингов товара и запроса.

The system operates through two main stages: offline indexing and online serving. Offline, embeddings and quality scores are generated and pre-indexed into an ANN system (using FAISS with a 4-bit product quantizer). This approach, combined with a re-ranking step, achieves a recall loss below 4% while keeping latency under 20ms@p99. At the online stage, incoming queries are embedded in real time to retrieve products from the ANN index. They also shared how they applied caching while handling in-session personalization features.

Система работает через два основных этапа: офлайн-индексация и онлайн-обслуживание. Офлайн эмбеддинги и оценки качества генерируются и предварительно индексируются в ANN систему (используя FAISS с 4-битным product quantizer). Этот подход в сочетании с шагом re-ranking достигает потери recall ниже 4%, удерживая задержку под 20мс@p99. На онлайн-этапе входящие запросы эмбеддятся в реальном времени для retrieval товаров из ANN индекса. Они также поделились, как применяли кэширование, работая с признаками персонализации внутри сессии.

Results: In A/B testing, the unified embedding model drove a site-wide conversion lift of 2.63% and boosted organic search purchases by 5.58%. Offline tests showed that Unified Embeddings consistently outperformed traditional baselines for both head and tail queries. Ablation studies revealed the strongest contributions came from graph embeddings (+15% recall@100), followed by description embeddings (+6.3%) and attributes (+3.9%). Additionally, location embeddings significantly improved purchase recall@100 (+8%) for US users by minimizing geographic mismatches. Removing hard negatives resulted in a noticeable 7% drop in performance, underscoring their importance.

Результаты: В A/B-тестировании унифицированная модель эмбеддингов привела к лифту конверсии по всему сайту на 2.63% и увеличила органические поисковые покупки на 5.58%. Офлайн-тесты показали, что Unified Embeddings последовательно превосходили традиционные бейзлайны как для head, так и для tail запросов. Ablation-исследования выявили, что самые сильные вклады поступали от graph эмбеддингов (+15% recall@100), затем от эмбеддингов описаний (+6.3%) и атрибутов (+3.9%). Кроме того, эмбеддинги локации значительно улучшили purchase recall@100 (+8%) для пользователей из США за счёт минимизации географических несоответствий. Удаление hard негативов привело к заметному падению производительности на 7%, что подчёркивает их важность.

Embedding Long Tail (Best Buy) shared how they optimize semantic product search to better address long-tail queries which typically suffer from sparse user interaction data.

Embedding Long Tail (Best Buy) рассказывает, как они оптимизируют семантический поиск товаров, чтобы лучше обрабатывать long-tail запросы, которые обычно страдают от разреженных данных пользовательских взаимодействий.

To create a high-quality dataset, they collected user engagement data from product pages and applied a two-stage filtering process, reducing data volume (by 10x) while maintaining quality and balanced coverage across product categories. First, they retained interactions observed from at least two unique visitors, then performed stratified sampling across categories to mitigate popularity bias. To further augment this data, they prompted a Llama-13B model to generate ten synthetic search queries per product using the product’s title, category, description, and specifications, thus ensuring comprehensive catalog coverage.

Чтобы создать высококачественный датасет, они собрали данные пользовательского вовлечения со страниц товаров и применили двухэтапный процесс фильтрации, сократив объём данных (в 10 раз) при сохранении качества и сбалансированного покрытия по категориям товаров. Сначала они оставили взаимодействия, наблюдаемые как минимум от двух уникальных посетителей, затем выполнили стратифицированное сэмплирование по категориям для смягчения popularity bias. Чтобы дополнительно дополнить эти данные, они подавали запросы Llama-13B для генерации десяти синтетических поисковых запросов на товар, используя заголовок товара, категорию, описание и спецификации, тем самым обеспечивая всестороннее покрытие каталога.

Their model follows a two-tower architecture based on Best Buy’s internally developed BERT variant, an adaptation of RoBERTa finetuned through masked language modeling on search queries and product information. They used the first five layers of this BERT model to initialize both the search and product encoders. Training involved using in-batch negatives with multi-class cross-entropy loss. For deployment, Solr functions as both the inverted index and vector database, with a caching layer added to minimize redundant requests to the embedding service.

Их модель следует two-tower архитектуре на основе внутренне разработанного варианта BERT в Best Buy — адаптации RoBERTa, дообученной через masked language modeling на поисковых запросах и информации о товарах. Они использовали первые пять слоёв этой BERT модели для инициализации энкодеров поиска и товаров. Обучение включало использование in-batch негативов с multi-class cross-entropy loss. Для развёртывания Solr функционирует как inverted index, так и vector database, с добавленным слоем кэширования для минимизации избыточных запросов к сервису эмбеддингов.

Results: Adding semantic retrieval to the existing lexical search improved conversion rates by 3% in online A/B tests. Offline experiments demonstrated incremental improvements through various enhancements: two-stage data filtering (+0.24% recall@200), synthetic positive queries (+0.7%), additional product features (+1.15%), query-to-query followed by query-to-product fine-tuning (+2.44%), and model weight merging (+4.67%). Notably, their final model outperformed the baseline (all-mpnet-base-v2) while using only half the parameters at 50M vs 110M. (Nonetheless, it may not have been a fair comparison given the baseline was not finetuned.)

Результаты: Добавление семантического retrieval к существующему лексическому поиску улучшило conversion rates на 3% в онлайн A/B тестах. Офлайн-эксперименты продемонстрировали инкрементальные улучшения через различные улучшения: двухэтапная фильтрация данных (+0.24% recall@200), синтетические позитивные запросы (+0.7%), дополнительные признаки товаров (+1.15%), finetuning query-to-query с последующим query-to-product (+2.44%) и model weight merging (+4.67%). Примечательно, что их финальная модель превзошла бейзлайн (all-mpnet-base-v2), используя лишь половину параметров — 50M против 110M. (Тем не менее, это может быть не вполне честное сравнение, учитывая, что бейзлайн не был дообучен.)

User Behavioral Service (YouTube) presented an innovative approach for serving large user sequence models efficiently while sidestepping latency challenges.

User Behavioral Service (YouTube) представил инновационный подход для эффективного обслуживания больших моделей пользовательских последовательностей, обходя проблемы задержки.

The intuition behind User Behavior Service (UBS) is decoupling the serving of the user sequence model from the main recommendation model. This design allows independent control over user embedding computation. Although both models are co-trained, they are exported and served separately. The user model computes embeddings asynchronously, storing them in a high-speed key-value cache that’s regularly updated. If a requested embedding isn’t available, an empty embedding is returned while an asynchronous refresh is triggered. This setup enables experimentation with significantly larger models without latency constraints—a concept similar to what I described as “Just-in-time infrastructure” in my RecSys 2022 keynote.

Интуиция за User Behavior Service (UBS) — отделить обслуживание модели пользовательских последовательностей от основной рекомендательной модели. Этот дизайн позволяет независимо контролировать вычисление пользовательских эмбеддингов. Хотя обе модели co-trained, они экспортируются и обслуживаются отдельно. Пользовательская модель вычисляет эмбеддинги асинхронно, сохраняя их в высокоскоростном key-value кэше, который регулярно обновляется. Если запрошенный эмбеддинг недоступен, возвращается пустой эмбеддинг, пока запускается асинхронное обновление. Эта настройка позволяет экспериментировать со значительно большими моделями без ограничений по задержке — концепция, похожая на то, что я описал как «Just-in-time infrastructure» в моей keynote на RecSys 2022.

Results: In A/B tests, UBS improved performance across six different ranking tasks while limiting the increase in cost. For example, a User Model with a sequence length of 1,000 showed a 0.38% improvement in online metrics compared to a baseline model using a sequence length of 20, with offline accuracy gains ranging from 0.01% to 0.40% across multiple tasks. Directly serving a large user sequence model would have increased costs by 28.7% but the UBS approach limited this increase to just 2.8%.

Результаты: В A/B тестах UBS улучшил производительность по шести различным задачам ранжирования, ограничив рост стоимости. Например, User Model с длиной последовательности 1000 показала улучшение онлайн-метрик на 0.38% по сравнению с бейзлайн моделью с длиной последовательности 20, с приростами офлайн-точности от 0.01% до 0.40% по нескольким задачам. Прямое обслуживание большой модели пользовательских последовательностей увеличило бы стоимость на 28.7%, но подход UBS ограничил этот рост лишь 2.8%.

(👉 Recommended read) Modern Ranking Platform (Zalando) details their real-time platform designed for both search and browsing scenarios. The paper discusses their system design, candidate generation, retrieval methods, and ranking policies.

(👉 Рекомендую к прочтению) Modern Ranking Platform (Zalando) подробно описывает их real-time платформу, разработанную для сценариев как поиска, так и просмотра. Работа обсуждает их дизайн системы, генерацию кандидатов, методы retrieval и политики ранжирования.

Their platform is built around a few key principles:

Их платформа построена вокруг нескольких ключевых принципов:

Композируемость: модели могут быть объединены вертикально (слоистое ранжирование) или горизонтально путём интеграции выходов от различных моделей или генераторов кандидатов. Масштабируемость: для управления вычислительными затратами платформа сначала использует эффективные, но менее точные генераторы кандидатов. Эти начальные кандидаты затем уточняются более точными, но вычислительно интенсивными ранжировщиками — стандартный дизайн для recsys. Общая инфраструктура: когда возможно, обучающие датасеты, эмбеддинги, feature stores и инфраструктура обслуживания переиспользуются для упрощения операций. Управляемое ранжирование: платформа допускает внешние корректировки через слой политик, упрощая выравнивание ранжирований с бизнес-целями.

Their candidate generator uses a classic two-tower model. The customer tower updates embeddings based on a customer’s recent actions and current context whenever the customer visits the site, ensuring embeddings remain fresh. The item tower precomputes item embeddings and stores them in a vector database for rapid retrieval. These embeddings are matched via dot product. To create customer embeddings, a Transformer encoder is trained on historical customer behavior and contextual data, predicting the next likely interaction.

Их генератор кандидатов использует классическую two-tower модель. Башня покупателя обновляет эмбеддинги на основе недавних действий покупателя и текущего контекста всякий раз, когда покупатель посещает сайт, обеспечивая свежесть эмбеддингов. Башня товара предвычисляет эмбеддинги товаров и хранит их в vector database для быстрого retrieval. Эти эмбеддинги сопоставляются через dot product. Для создания эмбеддингов покупателей Transformer энкодер обучается на исторических данных поведения покупателей и контекстных данных, предсказывая следующее вероятное взаимодействие.

The ranker is a multi-task model that predicts the likelihood of different customer actions, such as clicks, adding items to wishlist or cart, and purchases. Each action has its own prediction head, with all contributing equally to training loss. During serving, each action type’s importance can be dynamically adjusted. Overall, the ranker outputs personalized scores for each candidate item across multiple potential customer interactions.

Ранжировщик — мультизадачная модель, предсказывающая вероятность различных действий покупателя, таких как клики, добавление товаров в wishlist или корзину и покупки. Каждое действие имеет свою голову предсказания, причём все вносят равный вклад в обучающий loss. Во время обслуживания важность каждого типа действия может динамически корректироваться. В целом ранжировщик выдаёт персонализированные оценки для каждого товара-кандидата по нескольким потенциальным взаимодействиям с покупателем.

Finally, the policy layer ensures the system aligns with broader business goals. For instance, it can encourage exploration by promoting new products through heuristics like epsilon-greedy strategies. It also applies other business rules, such as reducing the visibility of previously purchased items and ensuring item diversity by preventing items from the same brand from appearing back-to-back.

Наконец, слой политик обеспечивает выравнивание системы с более широкими бизнес-целями. Например, он может поощрять исследование, продвигая новые товары через эвристики вроде epsilon-greedy стратегий. Он также применяет другие бизнес-правила, такие как снижение видимости ранее купленных товаров и обеспечение разнообразия товаров путём предотвращения появления товаров одного бренда подряд.

Results: The unified architecture demonstrated strong performance across four A/B tests, achieving a combined engagement increase of +15% and a revenue uplift of +2.2%. Iterative improvements further illustrate the effectiveness of each system component: introducing trainable embeddings in candidate generation boosted engagement by +4.48% and revenue by +0.18%; adding advanced ranking and policy layers delivered an additional +4.04% engagement and +0.86% revenue; and using contextual data provided a further lift of +2.40% in engagement and +0.60% in revenue.

Результаты: Унифицированная архитектура продемонстрировала сильную производительность в четырёх A/B тестах, достигнув совокупного роста вовлечённости на +15% и роста выручки на +2.2%. Итеративные улучшения дополнительно иллюстрируют эффективность каждого компонента системы: введение обучаемых эмбеддингов в генерации кандидатов повысило вовлечённость на +4.48% и выручку на +0.18%; добавление продвинутых слоёв ранжирования и политик дало дополнительные +4.04% вовлечённости и +0.86% выручки; а использование контекстных данных обеспечило дополнительный лифт +2.40% по вовлечённости и +0.60% по выручке.

• • •

• • •

Although early research in 2023—that applied LLMs to recommendations and search—often fell short, these recent efforts show more promise, especially since they’re backed by industry results. It suggests that there are tangible benefits from exploring the augmentation of recsys and search systems with LLMs, increasing performance while reducing cost and effort.

Хотя ранние исследования в 2023 году — применявшие LLM к рекомендациям и поиску — часто давали слабые результаты, эти недавние работы показывают больше перспектив, особенно потому что они подкреплены индустриальными результатами. Это говорит о том, что есть осязаемые преимущества от изучения дополнения recsys и поисковых систем с LLM, повышающего производительность при снижении стоимости и усилий.

References

Ссылки

Chamberlain, Benjamin P., et al. “Tuning Word2vec for Large Scale Recommendation Systems.” Fourteenth ACM Conference on Recommender Systems, 2020, pp. 732–37. arXiv.org, https://doi.org/10.1145/3383313.3418486.

Chamberlain, Benjamin P., et al. «Tuning Word2vec for Large Scale Recommendation Systems». Fourteenth ACM Conference on Recommender Systems, 2020, pp. 732–37. arXiv.org, https://doi.org/10.1145/3383313.3418486.

Hidasi, Balázs, et al. Session-Based Recommendations with Recurrent Neural Networks. arXiv:1511.06939, arXiv, 29 Mar. 2016. arXiv.org, https://doi.org/10.48550/arXiv.1511.06939.

Hidasi, Balázs, et al. Session-Based Recommendations with Recurrent Neural Networks. arXiv:1511.06939, arXiv, 29 Mar. 2016. arXiv.org, https://doi.org/10.48550/arXiv.1511.06939.

Chen, Qiwei, et al. Behavior Sequence Transformer for E-Commerce Recommendation in Alibaba. arXiv:1905.06874, arXiv, 15 May 2019. arXiv.org, https://doi.org/10.48550/arXiv.1905.06874.

Chen, Qiwei, et al. Behavior Sequence Transformer for E-Commerce Recommendation in Alibaba. arXiv:1905.06874, arXiv, 15 May 2019. arXiv.org, https://doi.org/10.48550/arXiv.1905.06874.

Sun, Fei, et al. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer. arXiv:1904.06690, arXiv, 21 Aug. 2019. arXiv.org, https://doi.org/10.48550/arXiv.1904.06690.

Sun, Fei, et al. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer. arXiv:1904.06690, arXiv, 21 Aug. 2019. arXiv.org, https://doi.org/10.48550/arXiv.1904.06690.

Singh, Anima, et al. Better Generalization with Semantic IDs: A Case Study in Ranking for Recommendations. arXiv:2306.08121, arXiv, 30 May 2024. arXiv.org, https://doi.org/10.48550/arXiv.2306.08121.

Singh, Anima, et al. Better Generalization with Semantic IDs: A Case Study in Ranking for Recommendations. arXiv:2306.08121, arXiv, 30 May 2024. arXiv.org, https://doi.org/10.48550/arXiv.2306.08121.

Chen, Gaode, et al. “A Multi-Modal Modeling Framework for Cold-Start Short-Video Recommendation.” Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 391–400. ACM Digital Library, https://doi.org/10.1145/3640457.3688098.

Chen, Gaode, et al. «A Multi-Modal Modeling Framework for Cold-Start Short-Video Recommendation». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 391–400. ACM Digital Library, https://doi.org/10.1145/3640457.3688098.

Wang, Hangyu, et al. FLIP: Fine-Grained Alignment between ID-Based Models and Pretrained Language Models for CTR Prediction. arXiv:2310.19453, arXiv, 30 Oct. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2310.19453.

Wang, Hangyu, et al. FLIP: Fine-Grained Alignment between ID-Based Models and Pretrained Language Models for CTR Prediction. arXiv:2310.19453, arXiv, 30 Oct. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2310.19453.

Vančura, Vojtěch, et al. “beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems.” 18th ACM Conference on Recommender Systems, 2024, pp. 1102–07. arXiv.org, https://doi.org/10.1145/3640457.3691707.

Vančura, Vojtěch, et al. «beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems». 18th ACM Conference on Recommender Systems, 2024, pp. 1102–07. arXiv.org, https://doi.org/10.1145/3640457.3691707.

Li, Yaoyiran, et al. CALRec: Contrastive Alignment of Generative LLMs for Sequential Recommendation. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2405.02429.

Li, Yaoyiran, et al. CALRec: Contrastive Alignment of Generative LLMs for Sequential Recommendation. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2405.02429.

Zhang, Chiyu, et al. EmbSum: Leveraging the Summarization Capabilities of Large Language Models for Content-Based Recommendations. arXiv:2405.11441, arXiv, 19 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2405.11441.

Zhang, Chiyu, et al. EmbSum: Leveraging the Summarization Capabilities of Large Language Models for Content-Based Recommendations. arXiv:2405.11441, arXiv, 19 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2405.11441.

Shah, Jaidev, et al. “Analyzing User Preferences and Quality Improvement on Bing’s WebPage Recommendation Experience with Large Language Models.” Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 751–54. ACM Digital Library, https://doi.org/10.1145/3640457.3688062.

Shah, Jaidev, et al. «Analyzing User Preferences and Quality Improvement on Bing's WebPage Recommendation Experience with Large Language Models». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 751–54. ACM Digital Library, https://doi.org/10.1145/3640457.3688062.

Pei, Yingchi, et al. “Leveraging LLM Generated Labels to Reduce Bad Matches in Job Recommendations.” Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 796–99. ACM Digital Library, https://doi.org/10.1145/3640457.3688043.

Pei, Yingchi, et al. «Leveraging LLM Generated Labels to Reduce Bad Matches in Job Recommendations». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 796–99. ACM Digital Library, https://doi.org/10.1145/3640457.3688043.

Search Query Understanding with LLMs: From Ideation to Production. https://engineeringblog.yelp.com/2025/02/search-query-understanding-with-LLMs.html. Accessed 5 Mar. 2025.

Search Query Understanding with LLMs: From Ideation to Production. https://engineeringblog.yelp.com/2025/02/search-query-understanding-with-LLMs.html. Дата обращения: 5 Mar. 2025.

Lindstrom, Henrik, et al. “Encouraging Exploration in Spotify Search through Query Recommendations.” Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 775–77. ACM Digital Library, https://doi.org/10.1145/3640457.3688035.

Lindstrom, Henrik, et al. «Encouraging Exploration in Spotify Search through Query Recommendations». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 775–77. ACM Digital Library, https://doi.org/10.1145/3640457.3688035.

Aluri, Geetha Sai, et al. “Playlist Search Reinvented: LLMs Behind the Curtain.” Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 813–15. ACM Digital Library, https://doi.org/10.1145/3640457.3688047.

Aluri, Geetha Sai, et al. «Playlist Search Reinvented: LLMs Behind the Curtain». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 813–15. ACM Digital Library, https://doi.org/10.1145/3640457.3688047.

Zhang, Gaowei, et al. Scaling Law of Large Sequential Recommendation Models. arXiv:2311.11351, arXiv, 19 Nov. 2023. arXiv.org, https://doi.org/10.48550/arXiv.2311.11351.

Zhang, Gaowei, et al. Scaling Law of Large Sequential Recommendation Models. arXiv:2311.11351, arXiv, 19 Nov. 2023. arXiv.org, https://doi.org/10.48550/arXiv.2311.11351.

Wang, Junting, et al. “A Pre-Trained Sequential Recommendation Framework: Popularity Dynamics for Zero-Shot Transfer.” 18th ACM Conference on Recommender Systems, 2024, pp. 433–43. arXiv.org, https://doi.org/10.1145/3640457.3688145.

Wang, Junting, et al. «A Pre-Trained Sequential Recommendation Framework: Popularity Dynamics for Zero-Shot Transfer». 18th ACM Conference on Recommender Systems, 2024, pp. 433–43. arXiv.org, https://doi.org/10.1145/3640457.3688145.

Liu, Qi, et al. Efficient Transfer Learning Framework for Cross-Domain Click-Through Rate Prediction. arXiv:2408.16238, arXiv, 29 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.16238.

Liu, Qi, et al. Efficient Transfer Learning Framework for Cross-Domain Click-Through Rate Prediction. arXiv:2408.16238, arXiv, 29 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.16238.

Khani, Nikhil, et al. Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems. arXiv:2408.14678, arXiv, 26 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.14678.

Khani, Nikhil, et al. Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems. arXiv:2408.14678, arXiv, 26 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.14678.

Zhang, Yin, et al. “Self-Auxiliary Distillation for Sample Efficient Learning in Google-Scale Recommenders.” Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 829–31. ACM Digital Library, https://doi.org/10.1145/3640457.3688041.

Zhang, Yin, et al. «Self-Auxiliary Distillation for Sample Efficient Learning in Google-Scale Recommenders». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 829–31. ACM Digital Library, https://doi.org/10.1145/3640457.3688041.

Cui, Yu, et al. “Distillation Matters: Empowering Sequential Recommenders to Match the Performance of Large Language Model.” 18th ACM Conference on Recommender Systems, 2024, pp. 507–17. arXiv.org, https://doi.org/10.1145/3640457.3688118.

Cui, Yu, et al. «Distillation Matters: Empowering Sequential Recommenders to Match the Performance of Large Language Model». 18th ACM Conference on Recommender Systems, 2024, pp. 507–17. arXiv.org, https://doi.org/10.1145/3640457.3688118.

Yang, Zhiming, et al. MLoRA: Multi-Domain Low-Rank Adaptive Network for CTR Prediction. arXiv:2408.08913, arXiv, 14 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.08913.

Yang, Zhiming, et al. MLoRA: Multi-Domain Low-Rank Adaptive Network for CTR Prediction. arXiv:2408.08913, arXiv, 14 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.08913.

Hsu, Yi-Ping, et al. “Taming the One-Epoch Phenomenon in Online Recommendation System by Two-Stage Contrastive ID Pre-Training.” Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 838–40. ACM Digital Library, https://doi.org/10.1145/3640457.3688053.

Hsu, Yi-Ping, et al. «Taming the One-Epoch Phenomenon in Online Recommendation System by Two-Stage Contrastive ID Pre-Training». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 838–40. ACM Digital Library, https://doi.org/10.1145/3640457.3688053.

Joshi, Swanand, et al. “Sliding Window Training - Utilizing Historical Recommender Systems Data for Foundation Models.” Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 835–37. ACM Digital Library, https://doi.org/10.1145/3640457.3688051.

Joshi, Swanand, et al. «Sliding Window Training - Utilizing Historical Recommender Systems Data for Foundation Models». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 835–37. ACM Digital Library, https://doi.org/10.1145/3640457.3688051.

Penha, Gustavo, et al. Bridging Search and Recommendation in Generative Retrieval: Does One Task Help the Other? arXiv:2410.16823, arXiv, 22 Oct. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2410.16823.

Penha, Gustavo, et al. Bridging Search and Recommendation in Generative Retrieval: Does One Task Help the Other? arXiv:2410.16823, arXiv, 22 Oct. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2410.16823.

Firooz, Hamed, et al. 360Brew: A Decoder-Only Foundation Model for Personalized Ranking and Recommendation. arXiv:2501.16450, arXiv, 27 Jan. 2025. arXiv.org, https://doi.org/10.48550/arXiv.2501.16450.

Firooz, Hamed, et al. 360Brew: A Decoder-Only Foundation Model for Personalized Ranking and Recommendation. arXiv:2501.16450, arXiv, 27 Jan. 2025. arXiv.org, https://doi.org/10.48550/arXiv.2501.16450.

Bhattacharya, Moumita, et al. Joint Modeling of Search and Recommendations Via an Unified Contextual Recommender (UniCoRn). arXiv:2408.10394, arXiv, 19 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.10394.

Bhattacharya, Moumita, et al. Joint Modeling of Search and Recommendations Via an Unified Contextual Recommender (UniCoRn). arXiv:2408.10394, arXiv, 19 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.10394.

Jha, Rishikesh, et al. Unified Embedding Based Personalized Retrieval in Etsy Search. arXiv:2306.04833, arXiv, 25 Sept. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2306.04833.

Jha, Rishikesh, et al. Unified Embedding Based Personalized Retrieval in Etsy Search. arXiv:2306.04833, arXiv, 25 Sept. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2306.04833.

Kekuda, Akshay, Yuyang Zhang, and Arun Udayashankar. “Embedding based retrieval for long tail search queries in ecommerce.” Proceedings of the 18th ACM Conference on Recommender Systems. 2024. https://dl.acm.org/doi/10.1145/3640457.3688039.

Kekuda, Akshay, Yuyang Zhang, and Arun Udayashankar. «Embedding based retrieval for long tail search queries in ecommerce». Proceedings of the 18th ACM Conference on Recommender Systems. 2024. https://dl.acm.org/doi/10.1145/3640457.3688039.

Li, Yuening, et al. “Short-Form Video Needs Long-Term Interests: An Industrial Solution for Serving Large User Sequence Models.” Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 832–34. ACM Digital Library, https://doi.org/10.1145/3640457.3688030.

Li, Yuening, et al. «Short-Form Video Needs Long-Term Interests: An Industrial Solution for Serving Large User Sequence Models». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 832–34. ACM Digital Library, https://doi.org/10.1145/3640457.3688030.

Celikik, Marjan, et al. Building a Scalable, Effective, and Steerable Search and Ranking Platform. 1, arXiv:2409.02856, arXiv, 4 Sept. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2409.02856.

Celikik, Marjan, et al. Building a Scalable, Effective, and Steerable Search and Ranking Platform. 1, arXiv:2409.02856, arXiv, 4 Sept. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2409.02856.

If you found this useful, please cite this write-up as:

Если вы нашли это полезным, пожалуйста, цитируйте этот материал как:

Yan, Ziyou. (Mar 2025). Improving Recommendation Systems & Search in the Age of LLMs. eugeneyan.com. https://eugeneyan.com/writing/recsys-llm/.

Yan, Ziyou. (Mar 2025). Improving Recommendation Systems & Search in the Age of LLMs. eugeneyan.com. https://eugeneyan.com/writing/recsys-llm/.

or

или

@article{yan2025recsys-llm, title = {Improving Recommendation Systems & Search in the Age of LLMs}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2025}, month = {Mar}, url = {https://eugeneyan.com/writing/recsys-llm/} }

@article{yan2025recsys-llm, title = {Improving Recommendation Systems & Search in the Age of LLMs}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2025}, month = {Mar}, url = {https://eugeneyan.com/writing/recsys-llm/} }

Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.

Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, RecSys, LLM и инженерии.