Improving Recommendation Systems & Search in the Age of LLMs

eugeneyan

Start Here Writing Speaking Prototyping About

Улучшение рекомендательных систем и поиска в эпоху LLM

[ recsys llm teardown 🔥 ] · 43 мин чтения

Рекомендательные системы и поиск исторически черпали вдохновение из языкового моделирования. Например, применение Word2vec для обучения эмбеддингов товаров (для retrieval на эмбеддингах) и использование GRU, Transformer и BERT для предсказания следующего лучшего объекта (для ранжирования). Текущая парадигма больших языковых моделей не исключение.

Здесь мы обсудим, как индустриальные системы поиска и рекомендаций эволюционировали за последний год, и рассмотрим архитектуры моделей, генерацию данных, парадигмы обучения и унифицированные фреймворки:

Архитектуры моделей, дополненные LLM/мультимодальностью Генерация и анализ данных с помощью LLM Законы масштабирования, transfer learning, дистилляция, LoRA и т.д. Унифицированные архитектуры для поиска и рекомендаций

Архитектуры моделей, дополненные LLM/мультимодальностью

Модели рекомендаций всё чаще используют языковые модели и мультимодальный контент, чтобы преодолеть традиционные ограничения подходов на основе ID. Эти гибридные архитектуры объединяют понимание контента с сильными сторонами поведенческого моделирования, решая распространённые задачи cold-start и рекомендаций long-tail объектов.

Semantic IDs (YouTube) исследует признаки, выведенные из контента, как замену традиционным хэш-ID. Этот подход нацелен на сложности предсказания пользовательских предпочтений для новых и редко взаимодействующих объектов. Их решение — двухэтапный фреймворк.

На первом этапе видеокодер на основе трансформера (похожий на Video-BERT) генерирует плотные контентные эмбеддинги. Затем эти эмбеддинги сжимаются в дискретные Semantic ID через Residual Quantization Variational AutoEncoder (RQ-VAE). Представление пользовательской истории через эти компактные семантические ID — несколько целых чисел вместо высокоразмерных эмбеддингов — значительно повышает эффективность. После обучения RQ-VAE замораживается и используется для генерации Semantic ID на втором этапе для обучения продакшен-модели ранжирования.

Сам RQ-VAE — это однослойная структура encoder-decoder с латентным пространством размерности 256. Он имеет восемь уровней квантования с кодовой книгой из 2048 записей на каждом уровне. Энкодер отображает контентные эмбеддинги в латентный вектор, residual-квантователь дискретизирует этот вектор, а декодер восстанавливает исходный эмбеддинг. Исходные эмбеддинги получены от трансформера с бэкбоном VideoBERT, который выдаёт детальные 2048-мерные представления, отражающие тематическое содержание видео.

Чтобы интегрировать Semantic ID в модели ранжирования, авторы предлагают две техники: подход на основе N-грамм, группирующий последовательности фиксированной длины, и метод на базе SentencePiece Model (SPM), который адаптивно учит подсловa переменной длины. Модель ранжирования — мультизадачная продакшен-модель, рекомендующая следующее видео для просмотра по текущему видео и пользовательской истории.

Результаты: Прямое использование плотных контентных эмбеддингов работало хуже, чем случайные хэш-ID. Авторы предполагают, что модели ранжирования сильно полагаются на запоминание из ID-таблиц эмбеддингов — замена их фиксированными плотными контентными эмбеддингами ухудшила CTR. Однако и N-gram, и SPM методы превзошли случайное хэширование, особенно в сценариях cold-start. Ablation-тесты показали, что подход N-gram имеет небольшое преимущество, когда размеры таблиц эмбеддингов ограничены (например, $8 \times K$ или $4 \times K^2$), а SPM-методы дают лучшую обобщающую способность и эффективность при больших таблицах эмбеддингов.

Плотные контентные эмбеддинги (пунктирные линии) работают хуже случайного хэширования (сплошная оранжевая).

Аналогично, M3CSR (Kuaishou) вводит мультимодальные контентные эмбеддинги (визуальные, текстовые, аудио), кластеризуемые через K-means в обучаемые category ID. Это превращает статичные контентные эмбеддинги в адаптируемые, выровненные с поведением представления.

Фреймворк M3CSR имеет двухбашенную (dual-tower) архитектуру, разделяющую башни на пользовательскую и товарную для оптимизации эффективности онлайн-инференса, где пользовательские и товарные эмбеддинги могут быть предвычислены и проиндексированы через approximate nearest neighbor индексы. Эмбеддинги объектов получаются из мультимодальных предобученных моделей — ResNet для визуального, Sentence-BERT для текста и VGGish для аудио — и конкатенируются в единый вектор эмбеддинга. Эти векторы затем кластеризуются с помощью K-means (примерно 1000 кластеров из более чем 10 миллионов видео).

Далее cluster ID встраиваются через Modal Encoder — плотную сеть, переводящую контентные признаки в поведенчески выровненные пространства и присваивающую обучаемые эмбеддинги. Modal Encoder использует плотную сеть для изучения отображения из контентного пространства в поведенческое и lookup по cluster ID для присвоения обучаемого эмбеддинга cluster ID.

На стороне пользователя M3CSR обучается на последовательностях пользовательского поведения, чтобы обучать последовательные модели, улавливающие предпочтения пользователя. Кроме того, для точного моделирования модальных предпочтений пользователя фреймворк конкатенирует общие поведенческие интересы с модально-специфическими интересами. Эти модально-специфические интересы получаются путём преобразования item ID обратно в их мультимодальные эмбеддинги с помощью того же Modal Encoder.

Результаты: M3CSR превзошёл несколько мультимодальных бейзлайнов, таких как VBPR, MMGCN и LATTICE. Ablation-исследования подчеркнули важность моделирования модально-специфических интересов пользователя и продемонстрировали стабильное превосходство мультимодальных признаков над одно-модальными по разным датасетам (Amazon, TikTok, Allrecipes). A/B-тестирование показало рост кликов на 3.4%, лайков на 3.0% и подписок на 3.1%. В cold-start сценариях M3CSR также показал улучшения, достигнув роста cold-start velocity на 1.2% и покрытия cold-start видео на 3.6%.

FLIP (Huawei) показывает, как выровнять ID-based рекомендательные модели с LLM через совместное обучение на маскированных табличных и языковых данных. Основная идея — реконструировать маскированные признаки одной модальности (user и item ID), используя информацию другой модальности (текстовые токены), обеспечивая тесное межмодальное выравнивание.

FLIP работает в три этапа: трансформация модальности, предобучение на выравнивание модальностей и адаптивный finetuning. Сначала табличные данные переводятся в текст с помощью структурированных prompt-шаблонов. Затем проводится совместное маскированное языковое/табличное моделирование для достижения тонкого выравнивания между модальностями. Во время предобучения текстовые данные подвергаются маскированию на уровне полей (замена целых полей токенами [MASK]), а соответствующие табличные признаки маскируются путём замены feature ID на [MASK].

FLIP обучает две параллельные модели с тремя целями: (i) Masked Language Modeling (MLM) предсказывает маскированные текстовые токены, используя полный табличный контекст; (ii) Masked Tabular Modeling (MTM) предсказывает маскированные feature ID, опираясь на текстовые данные; и (iii) Instance-level Contrastive Learning (ICL) выравнивает глобальные представления между модальностями.

Наконец, выровненные модели — TinyBERT как LLM и DCNv2 как ID-based модель — дообучаются на downstream-задаче предсказания CTR. Для этого FLIP добавляет случайно инициализированные выходные слои на обеих моделях для оценки вероятностей кликов. Финальное предсказание — взвешенная сумма выходов обеих моделей, где веса обучаются адаптивно.

Результаты: FLIP превосходит бейзлайны из ID-only, LLM-only и ID+LLM моделей. Ablation-исследования показывают, что (i) обе цели MLM и MTM улучшают производительность, (ii) маскирование на уровне полей эффективнее случайного маскирования токенов, и (iii) совместная реконструкция между модальностями является ключевой.

Аналогично, beeFormer демонстрирует, как обучать языковые трансформеры на данных user-item взаимодействий, обогащённых текстовой информацией. Цель — преодолеть разрыв между семантической схожестью (из текстовых данных) и схожестью на основе взаимодействий (из поведения пользователей).

beeFormer объединяет sentence Transformer энкодер для эмбеддингов объектов с декодером на основе ELSA (scalablE Linear Shallow Autoencoder), который улавливает паттерны из взаимодействий user-item. Сначала эмбеддинги объектов генерируются через трансформер, обученный на текстовых данных. Эти эмбеддинги затем используются для вычисления рекомендаций пользователю через низкоранговую аппроксимацию item-to-item весов ELSA. Ключевое здесь — обратное распространение градиентов от recommendation loss через модель трансформера. В результате обновления весов улавливают паттерны взаимодействий, а не только семантическую схожесть.

Чтобы сделать обучение вычислительно реалистичным на больших каталогах, beeFormer применяет gradient checkpointing для управления потреблением памяти, gradient accumulation для увеличения эффективных размеров батча и negative sampling, чтобы эффективно сосредоточить обучение на релевантных объектах.

Результаты: Офлайн-оценки показывают, что beeFormer превосходит бейзлайн-модели вроде mpnet-base-v2 и bge-m3. Однако сравнение ограничено (и, на мой взгляд, нечестно), поскольку бейзлайны не были дообучены на тренировочном датасете. Интересно, что модели, обученные на нескольких доменах (фильмы + книги), показали лучшие результаты, чем доменно-специфические, что говорит о наличии transfer learning между доменами.

CALRec (Google) вводит двухэтапный фреймворк, дообучающий предобученную LLM (PaLM-2 XXS) для последовательных рекомендаций. И пользовательские взаимодействия, и предсказания модели представляются полностью через текст.

Сначала все входные данные (например, взаимодействия user-item) преобразуются в текстовые последовательности путём конкатенации значимых атрибутов (заголовок, категория, бренд, цена) в структурированные текстовые промпты. Атрибуты форматируются в стиле «Имя атрибута: Описание атрибута» и конкатенируются. В конце пользовательской истории добавляется префикс объекта, тем самым побуждая LLM предсказать следующую покупку пользователя как задачу завершения предложения.

CALRec использует двухэтапный подход finetuning. Первый этап включает мультикатегорийное обучение для адаптации модели к паттернам последовательных рекомендаций категорически-агностично. Второй этап уточняет модель в рамках конкретных категорий товаров. Цель обучения сочетает задачи генерации следующего объекта (предсказание текстовых описаний объектов) со вспомогательным contrastive alignment. Первая стремится сгенерировать текстовое описание целевого объекта по истории пользователя; вторая применяет contrastive loss к выходу отдельных башен пользователя и объекта, чтобы выровнять представления истории пользователя с целевым объектом.

Во время инференса модель побуждается генерировать несколько кандидатов через temperature sampling. Удаляются дубликаты, сортировка по log-вероятностям выхода по убыванию, и сохраняются top k кандидатов. Затем эти текстовые предсказания сопоставляются с объектами каталога через BM25 и сортируются по баллам сопоставления.

Результаты: На Amazon Review Dataset 2018 CALRec превосходит ID-based и text-based бейзлайны (например, SASRec, BERT4Rec, FDSA, UniSRec). Хотя оценочный датасет ограничен, превосходство CalRec над бейзлайнами обнадёживает. Ablation-исследования демонстрируют необходимость обоих этапов обучения, особенно подчёркивая преимущества transfer learning от мультикатегорийного обучения и инкрементальные приросты (0.8 - 1.7%) от contrastive alignment.

EmbSum (Meta) представляет content-based подход к рекомендациям с использованием предвычисленных текстовых саммари пользовательских интересов и объектов-кандидатов для улавливания взаимодействий внутри истории вовлечения пользователя.

EmbSum использует T5-small (61M параметров) для кодирования пользовательских взаимодействий и контента-кандидатов, управляя длинными пользовательскими историями путём разбиения их на сессии для кодирования. Затем Mixtral-8x22B-Instruct генерирует интерпретируемые саммари интересов пользователей по их истории. Эти саммари затем подаются в энкодер T5 для получения итоговых эмбеддингов.

Ключевыми для этой архитектуры являются User Poly-Embeddings (UPE) и Content Poly-Embeddings (CPE). Для получения глобального представления UPE берётся последний токен выхода декодера ([EOS]) и конкатенируется с векторами представлений из энкодера сессий. Это объединённое представление проходит через слой poly-attention, который дистиллирует тонкие пользовательские интересы в несколько эмбеддингов. Обучение EmbSum сочетает noisy contrastive estimation loss и summarization loss, обеспечивая высококачественные пользовательские эмбеддинги.

Результаты: EmbSum превосходит несколько SOTA content-based рекомендеров. Тем не менее, прямые сравнения с поведенческими рекомендерами явно отсутствовали. Ablation-исследования показывают, что CPE вносит наибольший вклад в производительность, далее идут группировка и кодирование по сессиям, user poly-embeddings и summarization losses. Кроме того, оценки GPT-4 указывают на сильную интерпретируемость и качество сгенерированных саммари интересов пользователей.

• • •

Генерация и анализ данных с помощью LLM

Другая распространённая тема — использование LLM для обогащения данных. Несколько работ рассказывают об использовании LLM для решения проблемы нехватки данных и повышения качества поиска и рекомендаций. Примеры включают генерацию метаданных веб-страниц в Bing, создание синтетических обучающих данных для выявления плохих job match в Indeed, добавление семантических меток для понимания запросов в Yelp, формирование exploratory поисковых запросов в Spotify и обогащение метаданных музыкальных плейлистов в Amazon.

Recommendation Quality Improvement (Bing) рассказывает, как Bing улучшил рекомендации веб-страниц, используя LLM для генерации высококачественных метаданных и обучая LLM предсказывать клики и качество.

Ранее представления веб-страниц Bing полагались на экстрактивные саммари, которые часто приводили к ошибкам классификации запросов. Чтобы решить это, они использовали GPT-4 для генерации высококачественных заголовков и сниппетов из полного содержания веб-страниц для двух миллионов страниц. Затем, для эффективного масштабного развёртывания, они дообучили модель Mistral-7B, используя эти данные, сгенерированные GPT-4.

Чтобы улучшить ранжирование рекомендаций webpage-to-webpage, они дообучили multitask cross-encoder на базе MiniLM как на парных предсказаниях кликов, так и на задачах классификации качества. Полученные оценки качества затем линейно комбинировались с предсказаниями кликов от существующего ранжировщика LightGBM.

MiniLM (справа) ансамблируется с ранжировщиком LightGBM (слева).

Чтобы лучше понимать предпочтения пользователей, они определили 16 различных сценариев рекомендаций, отражающих типичные паттерны пользователей. Используя высокоточные промпты, они классифицировали каждую рекомендацию webpage-to-webpage, включая улучшенные заголовки и сниппеты от Mistral-7B, по этим сценариям. Затем, отслеживая изменения распределения каждого сценария, они количественно оценили улучшения качества рекомендаций веб-страниц.

Результаты: Улучшенная система сократила кликбейт на 31%, контент с низкой авторитетностью на 35% и дублирующий контент на 76%. В то же время доля контента с большей авторитетностью выросла на 18%, кросс-медийных рекомендаций — на 48%, а рекомендаций с большей специфичностью — на 20%. И это несмотря на то, что контент более низкого качества (например, кликбейт) исторически показывал более высокий CTR, что демонстрирует эффективность cross-encoder, ориентированного на качество.

(👉 Рекомендую к прочтению) Expected Bad Match (Indeed) рассказывает, как они использовали метки, сгенерированные LLM, для фильтрации плохих job match. В частности, они дообучили LLM для оценки качества рекомендаций и генерации меток для пост-обработочного классификатора.

Они начали с построения оценочного набора, перекрёстно проверив 250 матчей, сузив его до 147 высокоуверенных размеченных примеров. Затем они подавали запросы различным LLM, таким как Llama2 и Mistral-7B, используя экспертные рекрутинговые гайдлайны для оценки качества матчей по таким измерениям, как описания вакансий, резюме и пользовательские взаимодействия. Однако эти модели плохо справлялись с детальными промптами, выдавая обобщённые оценки, не учитывающие подробную информацию о вакансиях и соискателях. С другой стороны, GPT-4 показал лучшие результаты, но был непомерно дорогим.

Чтобы сбалансировать стоимость и эффективность, команда дообучила GPT-3.5 на тщательно отобранном датасете из более чем 200 проверенных людьми ответов GPT-4. Этот дообученный GPT-3.5 соответствовал производительности GPT-4 при четверти стоимости и задержки. Но несмотря на улучшения, его задержка инференса в 6.7 секунды оставалась слишком высокой для онлайн-использования. Поэтому они обучили лёгкий классификатор eBadMatch, используя сгенерированные LLM метки и категориальные признаки из описаний вакансий, резюме и пользовательской активности. В продакшене ежедневный пайплайн сэмплирует job match, инженерит признаки, анонимизирует данные, генерирует LLM-метки и переобучает модель. Этот классификатор работает как пост-обработочный фильтр для удаления низкокачественных матчей.

Результаты: Классификатор eBadMatch достиг AUC-ROC 0.86 против LLM-меток с задержкой, подходящей для real-time фильтрации. Онлайн-эксперименты показали, что применение порогового фильтра 20% на письмах invitation-to-apply сократило батчевые матчи на 17.68%, снизило отписки на 4.97% и увеличило отклики на вакансии на 4.13%. Аналогичные улучшения наблюдались в лентах рекомендаций на главной странице.

(👉 Рекомендую к прочтению) Query Understanding (Yelp) показывает, как они интегрировали LLM в свой пайплайн понимания запросов для улучшения сегментации запросов и review highlights.

Сегментация запросов выделяет значимые части пользовательских запросов — такие как тема, имя, время, локация и вопрос — и тегирует их соответственно. По ходу они выяснили, что spelling correction и сегментацию можно делать вместе, и добавили мета-тег для маркировки секций с исправленным написанием, объединив обе задачи в один промпт. RAG дополнительно улучшил точность сегментации, включая названия компаний и категории как контекст, который разрешал двусмысленность пользовательского намерения. Для оценки они сравнивали сегменты, идентифицированные LLM, с размеченными людьми датасетами name match и location intent.

Review highlights выбирает ключевые сниппеты из отзывов для подсветки в результатах поиска. Они использовали LLM для генерации синонимичных фраз, подходящих для подсветки. Тщательно подобранные примеры побуждали LLM воспроизводить человеческие рассуждения в раскрытии фраз. RAG дополнительно повысил релевантность, дополняя вход релевантными категориями бизнеса, чтобы направлять генерацию фраз. Офлайн-оценка проводилась через человеческих аннотаторов перед онлайн A/B-тестированием новых highlight-фраз. Чтобы эффективно масштабироваться и покрыть 95% трафика, Yelp предвычислил раскрытия сниппетов с помощью батчевых вызовов OpenAI и сохранил их в key-value хранилищах для снижения задержки.

Команда поделилась своим подходом — от начальной формулировки и proof of concept (POC) до масштабирования. Сначала они оценили пригодность LLM и определили масштаб проекта. Во время POC они использовали степенное распределение запросов, кэшируя предвычисленные ответы LLM для часто встречающихся запросов, покрывающих большую часть трафика. Для масштабирования они создали эталонные датасеты с использованием выходов GPT-4 и дообучили меньшие, экономически выгодные модели вроде GPT-4o-mini. Кроме того, real-time модели вроде BERT и T5 обрабатывали менее частые long-tail запросы.

Результаты: Сегментация запросов Yelp значительно улучшила определение location intent, а улучшенные review highlights повысили CTR как сессии, так и поиска, особенно выигрывая от long-tail запросов.

Query Recommendations (Spotify) подробно описывает, как они построили гибридную систему рекомендаций запросов для предложения exploratory поисковых запросов наряду с прямыми результатами. Этот подход был необходим для поддержки расширения Spotify за пределы музыки в подкасты, аудиокниги и разнообразные типы контента, помогая пользователям исследовать этот контент.

Spotify генерировал предложения запросов путём (i) извлечения из заголовков каталога, имён плейлистов и подкастов, (ii) майнинга предложений из логов поиска, (iii) использования недавних поисков пользователей, (iv) применения правил метаданных и расширения (например, «имя артиста» + «covers») и (v) генерации синтетических естественно-языковых запросов через LLM. Для генерации синтетических запросов использовались техники вроде Doc2query и InPars для расширения вариаций запросов, улучшая exploratory поиски и смягчая retrievability bias.

Предложения запросов затем объединялись с обычными результатами и ранжировались поточечным (point-wise) ранжировщиком, оптимизированным под downstream-действия пользователя вроде стриминга или добавления контента в плейлисты. Ранжировщик использует признаки вроде лексического соответствия, статистики запросов, retrieval-оценок и паттернов потребления пользователей. Для персонализации они полагались на векторные представления пользователей и кандидатов в предложения запросов.

Результаты: Spotify увидел рост exploratory intent запросов на 9%, рост максимальной длины запроса на пользователя на 30% и рост средней длины запроса на 10% — это говорит о том, что обновления рекомендаций запросов помогли пользователям выражать более сложные намерения. Онлайн-ablation показал, что удаление ранжировщика привело к падению кликов по рекомендациям на 20%, что подчёркивает его важность.

Playlist Search (Amazon) обсуждает интеграцию Amazon LLM в пайплайны поиска плейлистов для решения таких задач, как нехватка данных, обогащение метаданных и масштабируемая оценка при снижении зависимости от ручной разметки.

Чтобы обогатить метаданные, они использовали LLM (LLM curator) для создания детальных описаний community плейлистов на основе первых 15 треков, улавливая темы, жанры, активности и артистов. (У этих community плейлистов обычно был только заголовок плейлиста.) Это решило проблему нехватки данных в контенте, сгенерированном сообществом. Затем Flan-T5-XL был дообучен для масштабирования процесса инференса.

Они также применили LLM для генерации синтетических запросов, спаренных с плейлистами (и связанными метаданными), чтобы создать обучающие данные для bi-encoder моделей. Эти пары генерировались и оценивались LLM (LLM labeler) для поддержания сбалансированных позитивных и негативных примеров. Наконец, они использовали LLM (LLM judge), направляемого человеческими аннотациями и тщательным prompting для обеспечения соответствия, чтобы упростить оценки.

Результаты: Интеграция LLM привела к существенным двузначным улучшениям recall по бенчмаркам, SEO и датасетам перефразирования. В целом использование LLM помогло преодолеть проблемы нехватки данных и масштабируемости оценки без обширных ручных усилий.

• • •

Законы масштабирования, transfer learning, дистилляция, LoRA

Другой тренд — заимствование подходов к обучению из LLM и компьютерного зрения в рекомендательные системы. Это включает изучение законов масштабирования (как размер модели и объём данных влияют на производительность), использование knowledge distillation для передачи знаний от больших моделей к меньшим эффективным, применение кросс-доменного transfer learning для работы с ограниченными данными и parameter-efficient fine-tuning техник вроде LoRA.

(👉 Рекомендую к прочтению) Scaling Laws исследует, как производительность ID-based последовательных рекомендательных моделей улучшается с ростом размера модели и масштаба данных. Авторы обнаружили предсказуемое степенное соотношение, где производительность последовательно улучшается с увеличением размера моделей и датасетов.

Они применяют decoder-only трансформер-архитектуру, экспериментируя с моделями от 98.3K до 0.8B параметров. Они оценивали эти модели на датасетах MovieLens-20M и Amazon-2018. Для датасета Amazon записи взаимодействий из 29 доменов были объединены, отсортированы хронологически и упрощены до включения только item ID без дополнительных метаданных. Затем датасеты были отформатированы в последовательности фиксированной длины по 50 объектов каждая; более короткие последовательности дополнялись, а более длинные обрезались. Модель затем оптимизируется для предсказания следующего объекта на временном шаге $t + 1$, обусловленного предыдущими $t$ объектами.

Чтобы справиться с нестабильностью при обучении больших моделей, авторы ввели два ключевых улучшения. Во-первых, они реализовали послойный адаптивный dropout, применяя более высокие dropout rate в нижних слоях и более низкие — в верхних. Интуиция в том, что нижние слои обрабатывают прямой вход из данных и более склонны к переобучению. Напротив, верхние слои строят более абстрактные представления и поэтому выигрывают от меньшего dropout, чтобы уменьшить потерю информации, которая могла бы привести к недообучению.

Второе улучшение — динамическое переключение оптимизаторов во время обучения: начало с Adam с последующим переключением на stochastic gradient descent (SGD) в заранее определённой точке. Этот подход мотивирован наблюдением, что Adam быстро снижает loss в ранних фазах обучения, но в итоге SGD достигает лучшей сходимости.

Результаты: Неудивительно, что увеличение ёмкости модели (за исключением параметров эмбеддингов) последовательно снижало cross-entropy loss. Они смоделировали это степенной кривой и точно предсказали производительность для больших моделей (75.5M и 0.8B параметров). Аналогично они наблюдали, что большие модели могут достигать более низких потерь даже при меньших датасетах, тогда как меньшим моделям требовалось больше данных для достижения сопоставимой производительности. Например, меньшая модель на 98.3K параметров требовала вдвое больше данных (18.5M взаимодействий) по сравнению с большей моделью на 75.5M параметров (9.2M взаимодействий) для достижения схожей производительности.

Что касается повторения данных, модели размером 75.5M и 98.3K параметров продолжали улучшаться за пределами одной эпохи обучения, с заметными приростами от двух до пяти эпох. Что удивительно, изменение формы модели оказывало минимальное влияние на производительность. Ablation-исследования показали, что послойный адаптивный dropout и переключение оптимизаторов существенно улучшали производительность в больших моделях (24 слоя), хотя меньшие модели (2 слоя) оставались в основном незатронутыми. Дальнейшие ablation на пяти сложных рекомендательных задачах подчеркнули преимущество больших моделей, особенно для long-tail объектов и cold-start пользователей.

PrepRec показывает, как pretraining может быть адаптирован к рекомендательным системам, обеспечивая кросс-доменные zero-shot рекомендации. Ключевая инновация — использование динамики популярности объектов, полученной исключительно из пользовательских взаимодействий, без опоры на метаданные объектов.

PrepRec использует статистику популярности, рассчитанную на грубых (месячных) и тонких (недельных) временных шкалах. Эти метрики популярности преобразуются в перцентили и затем кодируются в векторные представления. Кроме того, модель включает относительные временные интервалы между пользовательскими взаимодействиями и использует фиксированное позиционное кодирование для каждого взаимодействия в последовательности пользователя. (На мой взгляд, хотя подход эффективен, он опирается на несколько специализированных техник — грубо- vs тонко-зернистые периоды, относительные временные интервалы и позиционные кодирования — что может ограничить его обобщаемость.)

Для обучения PrepRec использует binary cross-entropy как цель и Adam для оптимизации. Модель и бейзлайны имеют согласованные настройки: размерность эмбеддинга 50, максимальная длина последовательности 200 и размер батча 128. Во время инференса PrepRec рассчитывает динамику популярности объектов из целевого домена перед генерацией рекомендаций через инференс на предобученной модели.

Результаты: PrepRec достигает многообещающей zero-shot производительности, лишь с небольшим снижением (2-6% recall@10) по сравнению с моделями вроде SasREC и BERT4Rec, которые специально обучались на целевых доменах. При обучении с нуля на целевых доменах PrepRec соответствует или слегка превосходит эти модели в обычных последовательных рекомендациях, несмотря на использование всего 1-5% их параметров, благодаря отсутствию item-специфических эмбеддингов. Ablation-исследования показали, что моделирование относительных временных интервалов значительно повышает производительность, и улавливание как грубых, так и тонких трендов популярности было существенно для отслеживания эволюционирующих интересов пользователей.

E-CDCTR (Meituan) демонстрирует потенциал transfer learning, используя органические данные об объектах для улучшения предсказаний CTR в рекламе, решая задачу разреженных рекламных данных.

E-CDCTR имеет три компонента: tiny pretraining model (TPM), complete pretraining model (CPM) и advertising CTR model (A-CTR). TPM — лёгкая модель с просто слоями эмбеддингов и MLP, обучается ежемесячно на шести месяцах органических показов и кликов. Она улавливает долгосрочные сигналы collaborative filtering через исторические эмбеддинги пользователей и объектов. Признаки включают user и item ID, category ID и т.д.

Далее CPM предобучает CTR-модель еженедельно, используя органические данные за самый последний месяц и используя эмбеддинги пользователей и объектов, выученные TPM. Наконец, A-CTR модель инициализируется из CPM и дообучается ежедневно на специфических для рекламы данных. A-CTR также использует эмбеддинги пользователей и объектов от TPM. A-CTR также использует более богатые признаки, такие как последовательности пользовательского поведения, пользовательский контекст, метаданные объектов и feature interactions, что приводит к более сложной архитектуре модели, включающей последовательный вход, feature crosses и больший MLP слой.

Для онлайн-инференса E-CDCTR использует эмбеддинги пользователей и объектов, сгенерированные TPM за последние три месяца. Модель A-CTR затем использует эти эмбеддинги для предсказания CTR рекламы. (Авторы упоминают использование self-attention для объединения эмбеддингов, но предоставляют ограниченные детали о его обучении.)

Результаты: E-CDCTR превосходит кросс-доменные бейзлайны, такие как KEEP, CoNet, DARec и MMoE. Ablation-исследования подтверждают ценность как TPM, так и CPM, причём CPM оказывает более существенное влияние. Кроме того, расширение исторических эмбеддингов с одного до трёх месяцев дополнительно повысило производительность, тогда как простое слияние рекламных данных с органическими не дало улучшений.

Bridging the Gap (YouTube) делится инсайтами по применению knowledge distillation в крупномасштабных персонализированных видео-рекомендациях YouTube.

Их рекомендеры — мультицелевые поточечные модели для ранжирования видео. Эти модели одновременно оптимизируют краткосрочные цели вроде video CTR и долгосрочные цели вроде оценочной долгосрочной ценности пользователя. Их модели обычно имеют teacher-student настройку, причём teacher и student модели имеют схожие архитектуры, хотя teacher модель в 2 - 4 раза больше student модели.

Однако смещения распределений между teacher и student могут вызывать смещения. Чтобы решить это, авторы предлагают вспомогательную стратегию дистилляции — вместо прямого использования предсказаний teacher (soft labels) они отделяют hard labels от soft предсказаний teacher через отдельные task logits. Это позволяет student модели эффективно учиться у teacher без наследования нежелательных смещений.

Чтобы амортизировать стоимость обучения большой teacher модели, у них один teacher улучшает несколько student моделей. В результате один teacher может предоставлять дистиллированные знания различным специализированным задачам рекомендаций, снижая избыточность и вычислительные накладные расходы. Teacher-метки хранятся в колоночной базе данных, которая приоритизирует производительность чтения для student во время обучения.

Результаты: Стратегия вспомогательной дистилляции дала улучшение на 0.4% в предсказании E(LTV) по сравнению с методами прямой дистилляции, которые показали результаты, схожие с моделями без дистилляции. Это подтверждает эффективность подхода вспомогательной дистилляции в снижении teacher noise. В ablation-исследованиях по размеру teacher даже скромный teacher (в 2 раза больше student) приводил к значимым улучшениям (+0.42% engagement, +0.34% satisfaction), тогда как 4x teacher давал +0.43% engagement и +0.46% satisfaction.

Аналогично, Self-Auxiliary Distillation (Google) вводит фреймворк дистилляции, направленный на улучшение эффективности использования образцов для крупномасштабных рекомендательных моделей.

Основная идея — приоритизировать обучение на высококачественных метках при улучшении разрешения меток более низкого качества. Интуиция в том, что позитивные метки дают больше сигнала, чем негативные, при предсказании CTR, поэтому имеет смысл приоритизировать их. С другой стороны, негативные метки ближе к слабо позитивным, чем к абсолютному нулю — поэтому представление их оценочным значением CTR даёт лучший обучающий сигнал.

Модель имеет общую нижнюю башню с двумя головами: главная голова (teacher) обучается напрямую на ground-truth метках, служа основной inference моделью и генерируя калиброванные soft labels. Калибровка поддерживается путём обеспечения того, чтобы среднее предсказаний соответствовало среднему фактических меток. Вспомогательная голова (student) обучается на смеси этих soft teacher labels и оригинальных меток, помогая стабилизировать процесс обучения. В частности, вспомогательная голова имеет двустороннюю ветвь, где одна ветвь дистиллирует знания из soft labels teacher, а другая обучается на hard ground-truth метках. Селектор объединяет метки из обеих ветвей, используя функции вроде $max(y, y')$.

Результаты: Self-attention дистилляция последовательно улучшала качество рекомендаций по нескольким доменам, включая приложения, коммерцию и рекомендации видео. Ablation показывают, что обучение на оригинальных ground-truth метках в основном обеспечивает прирост производительности, тогда как компонент дистилляции значительно стабилизирует и выравнивает предсказания модели. Обучение исключительно на ground-truth метках показало непоследовательные результаты, тогда как обучение только на дистилляционных метках не привело к улучшениям.

DLLM2Rec показывает, как дистиллировать рекомендательные знания из LLM в лёгкие, обычные последовательные рекомендательные модели, делая развёртывание более практичным. Работа выделяет три основные проблемы: (i) ненадёжные знания/метки teacher, (ii) разрыв возможностей между teacher и student моделями и (iii) семантическое расхождение между пространствами эмбеддингов teacher и student.

Чтобы решить эти проблемы, DLLM2Rec применяет две ключевые стратегии: importance-aware ranking distillation и collaborative embedding distillation. Importance-aware ranking distillation фокусируется на выборе надёжных образцов для обучения через importance weights. Эти веса учитывают такие факторы, как позиция в ранжировании (приоритет объектам, ранжированным выше teacher), уверенность teacher (оцениваемая через семантическое сходство между сгенерированными описаниями и реальными объектами) и согласованность между рекомендациями teacher и student. Тем временем, collaborative embedding distillation включает использование обучаемого MLP для эффективного перевода эмбеддингов из семантического пространства teacher в пространство student.

В своих экспериментах они используют BIGRec (построенный на Llama2-7B) как teacher и три популярные последовательные модели (GRU4Rec, SASRec и DROS) как student.

Результаты: DLLM2Rec повышает производительность student моделей, показывая среднее улучшение 47.97% по трём датасетам (Amazon Video Games, MovieLens-10M и Amazon Toys and Games) при оценке hit rate@k и NDCG@k (см. Таблицу 5 в статье). Кроме того, время инференса значительно снизилось — с 3-6 часов с teacher моделью до 1.6-1.8 секунды с DLLM2Rec.

MLoRA (Alibaba) описывает использование доменно-специфических LoRA (low-rank adapters) для улучшения моделей предсказания CTR в нескольких доменах. Он решает две распространённые проблемы: разреженность данных (ограниченные данные на домен) и доменное разнообразие (вариации между доменами), которые обычно возникают при обучении либо отдельных моделей, либо одной объединённой модели соответственно.

Они применяют двухэтапный процесс обучения. Сначала они предобучают общий backbone сеть на обширных мульти-доменных данных, чтобы выучить обобщающие паттерны между доменами. Затем они замораживают backbone и дообучают доменно-специфические LoRA на уникальных данных каждого домена. Ключевая задача — адаптировать ранги LoRA послойно из-за варьирующихся размерностей в слоях CTR модели. (Рекомендательные модели имеют разные размерности на слой в отличие от языковых моделей, которые обычно имеют единообразные размерности.) В их экспериментах все модели имели скрытые слои размерности 256, 128 и 64.

Чтобы представить разницу распределения данных между pretraining и finetuning: во время их A/B теста предобученный backbone использовал 13 миллиардов сэмплов за 90 дней из 10 доменов, тогда как finetuning включал 3.2 миллиарда сэмплов всего за 21 день.

Результаты: MLoRA увеличил AUC на 0.5% по таким датасетам, как Taobao-10, Amazon-6 и MovieLens. Ablation-исследования показали, что домены с меньшими датасетами и более высокими меж-доменными различиями выигрывали больше. Они также обнаружили, что более простые модели (вроде MLP) лучше работали с более низкими рангами LoRA (32), тогда как более сложные модели (вроде DeepFM) выигрывали от более высоких рангов (64 - 128). A/B-тестирование показало существенный бизнес-прирост — лифт CTR на 1.49%, рост конверсий на 3.37% и увеличение платных покупателей на 2.71% — при лишь скромном росте сложности модели на 1.76% за счёт использования LoRA.

Taming One-Epoch (Pinterest) подчёркивает проблему переобучения моделей всего после одной эпохи обучения, в основном из-за long-tail природы рекомендательных данных. (Возможно, работа Scaling Laws выше, которая показала приросты за пределами одной эпохи, использовала датасеты (Amazon и MovieLens), у которых long-tail был отфильтрован.) Это переобучение возникает потому, что tail записи имеют гораздо больше степеней свободы по сравнению с ограниченным числом доступных обучающих примеров.

Вот больше контекста о «проблеме одной эпохи»: в онлайн-экспериментах они увидели, что глубокие CTR-модели без ID эмбеддингов обычно требуют нескольких эпох для сходимости. Однако введение ID эмбеддингов часто заставляет производительность достигать пика всего после одной эпохи, что приводит к худшим результатам по сравнению с многоэпохным обучением без ID эмбеддингов.

Их решение включает два различных этапа. На первом этапе они предобучают базовые ID эмбеддинги, используя минимальную dot-product модель в сочетании с contrastive loss, применяя in-batch и равномерно случайные негативы. Этот contrastive подход уменьшает эффективную размерность tail записей, минимизируя переобучение. Более того, поскольку этап предобучения относительно лёгкий, они могут использовать гораздо больший датасет — примерно в десять раз больше engagement-данных по сравнению с downstream рекомендательной моделью.

На втором этапе предобученные эмбеддинги дообучаются в задаче-специфических моделях в течение нескольких эпох. Разделяя предобучение эмбеддингов и downstream finetuning, они смягчают переобучение и получают лучшие результаты по сравнению с простым замораживанием эмбеддингов.

Результаты: На Рисунке 2 выше типичный binary cross-entropy (BCE) loss склонен к переобучению после первой эпохи, тогда как contrastive loss остаётся стабильным. Ablation-исследования показали, что одноэтапный метод обучения уступал бейзлайн моделям из-за серьёзного переобучения (−3.347% для Homefeed и −1.907% для Related Pins). Напротив, двухэтапное обучение последовательно давало превосходные результаты (+1.323% Homefeed, +2.187% Related Pins) и в онлайн A/B тестах привело к значительному общему лифту вовлечённости на 2.2%.

Sliding Window Training (Netflix) описывает их метод эффективного обучения на длинных последовательностях пользовательской истории без накладных расходов памяти и задержек, связанных с большими размерами входа. Один обходной путь — обрезать исторические взаимодействия пользователя — однако это происходит ценой неиспользования ценной информации из всего пути пользователя.

Их решение элегантно простое. Предполагая бейзлайн модель, которая обрабатывает только последовательности до 100 объектов, они вводят sliding window сэмплер во время обучения. Этот сэмплер выбирает разные сегменты пользовательской истории в каждой эпохе обучения, позволяя модели учиться на долгосрочных паттернах пользователя. Кроме того, они экспериментировали со смешиванием эпох — некоторые фокусировались исключительно на sliding windows, а другие подчёркивали только последние 100 взаимодействий — чтобы сбалансировать недавнее поведение пользователя и исторические предпочтения.

Результаты: Офлайн-оценки показали, что метод sliding window последовательно превосходил модели, обученные исключительно на последних 100 взаимодействиях. В частности, чистый вариант sliding window слегка снизил Mean Reciprocal Rank (MRR) на 1.2%, но улучшил Mean Average Precision (MAP) на 1.5% и recall значительно на 7.01%. Гибридные подходы, сочетающие sliding windows с недавними взаимодействиями и расширяющие длины входных последовательностей до 500 или даже 1000 объектов, дали лучшую общую производительность. Однако эти расширенные подходы имели несколько худшую perplexity, что указывает на компромисс между предсказательной уверенностью и фактической производительностью рекомендаций.

• • •

Унифицированные архитектуры для поиска и рекомендаций

Финальная тема подсвечивает растущий сдвиг к унифицированным архитектурам систем, которые объединяют поиск и рекомендации, черпая вдохновение из foundation models. Вместо развёртывания нескольких однозадачных моделей недавние работы представляют унифицированные фреймворки, способные обрабатывать разнообразные задачи retrieval и ранжирования в рамках общей инфраструктуры. Например, 360Brew от LinkedIn и UniCoRn от Netflix показывают, как унифицированные модели, обученные на нескольких задачах, могут превзойти специализированные однозадачные аналоги.

Bridging Search & Recommendations (Spotify) демонстрирует преимущества обучения унифицированной генеративной retrieval модели как на данных поиска, так и рекомендаций, а не отдельно, и как она может превзойти задачно-специфические модели.

В их подходе генеративный рекомендер предсказывает item ID на основе прошлых взаимодействий пользователя, тогда как генеративный поисковый retriever предсказывает item ID из токенизированных поисковых запросов. Базовая модель построена на Flan-T5-base, расширяя словарь, чтобы включить все item ID с одним дополнительным токеном на объект. Эти модели обучаются авторегрессивно с использованием teacher forcing и cross-entropy loss, стремясь точно предсказать ID следующего релевантного объекта. Во время инференса item ID генерируются напрямую либо из истории взаимодействий пользователя (для рекомендаций), либо из текстового запроса (для поиска).

Оценка проводится через стандартные метрики recall (recall@10 для симулированных датасетов, recall@30 для реальных датасетов) против общих бейзлайнов вроде BM25, SASRec и BERT4Rec.

Результаты: Совместно обученные мультизадачные модели превзошли свои однозадачные аналоги, достигнув среднего роста на 16% в recall@30. На датасете подкастов унифицированная модель значительно улучшила производительность на +33% по обеим задачам, особенно для torso объектов (вне топ-1%), показав приросты 262% для рекомендаций и 855% для поиска.

Хотя исследование не было сосредоточено на замене обычных моделей, сравнения с поведенческими бейзлайнами были информативными. По трём датасетам генеративные модели последовательно значительно отставали от специализированных рекомендательных бейзлайнов (SASRec, BERT4Rec) (зелёный ниже). Аналогично для поиска традиционные бейзлайны (BM25, Bi-encoder) всё ещё превосходили (зелёный ниже). Это говорит о том, что генеративные retrieval модели всё ещё далеки от полной замены обычных методов.

(👉 Рекомендую к прочтению) 360Brew (LinkedIn) консолидирует несколько ID-based моделей ранжирования в одну большую 150B decoder-only модель, оснащённую интерфейсом естественного языка, эффективно заменяя традиционный feature engineering на prompt engineering.

360Brew построен на предобученной Mixture-of-Experts модели Mixtral-8x22B. Его fine-tuning датасет включает 3-6 месяцев взаимодействий примерно от 45 миллионов ежемесячных активных пользователей в США, охватывающих профили членов, описания вакансий, посты и различные логи взаимодействий — всё преобразовано в текстовый формат.

Обучение включает три ключевых этапа. Сначала continuous pretraining (CPT) выполняется с максимальной длиной контекста 16K токенов с техниками упаковки. Далее выполняется instruction fine-tuning (IFT) с использованием смеси open-source датасетов (таких как UltraChat) и внутренне сгенерированных данных следования инструкциям. Наконец, supervised fine-tuning (SFT) применяет multi-turn chat шаблоны, разработанные для улучшения понимания моделью взаимодействий member-entity, улучшая её предсказательные возможности на конкретных пользовательских интерфейсах.

Модель была обучена на 256-512 H100 GPU с использованием FSDP, а продакшен-развёртывание использует vLLM и inference-time RoPE scaling. 360Brew фокусируется на задачах бинарного предсказания, например, понравится ли пользователю пост, и использует token logits для присвоения оценок.

Результаты: Унифицированная модель поддерживает более 30 различных задач ранжирования на платформах LinkedIn, соответствуя или превосходя специализированные продакшен-модели, при этом снижая сложность и накладные расходы на поддержку. Исследователи также обнаружили, что унифицированная модель существенно улучшалась с большим количеством данных — хотя начальные итерации работали плохо, утроение датасета привело к производительности, превышающей специализированные модели (Рисунок 2 ниже). Кроме того, более крупные модели последовательно превосходили меньшие версии (8x22B > 8x7B > 7B). Также 360Brew показал сильную производительность для cold-start пользователей, превосходя традиционные модели с большим отрывом, когда данные о взаимодействиях пользователей были ограничены.

Аналогично, UniCoRn (Netflix) представляет унифицированный контекстный ранжировщик, разработанный для обслуживания как задач поиска, так и рекомендаций через общий контекстный фреймворк. Эта унифицированная модель достигает сопоставимой или лучшей производительности, чем несколько специализированных моделей, тем самым снижая операционную сложность.

Модель UniCoRn использует контекстную информацию, такую как user ID, поисковые запросы, страна, source entity ID и тип задачи, предсказывая вероятность позитивного вовлечения с целевой сущностью (например, фильмом). Поскольку не все контексты всегда доступны, используются эвристики для заполнения отсутствующих данных. Например, отсутствующие source entity ID в задачах поиска заполняются как null, а отсутствующие контексты запросов в задачах рекомендаций используют display names сущности.

UniCoRn включает две широкие категории признаков: контекстно-специфические признаки (вроде длины запроса и эмбеддингов source entity) и объединённые признаки context-target (такие как количество кликов для целевой сущности в ответ на запрос). Архитектура включает слои эмбеддингов для категориальных признаков, дополненные residual connections и feature crossing.

Обучение использует binary cross-entropy loss и Adam оптимизатор. Netflix инкрементально увеличивал персонализацию: начиная с полу-персонализированной модели на кластерах пользователей, прогрессируя к включению выходов от других моделей рекомендаций и наконец включая предобученные и дообученные эмбеддинги пользователей и объектов.

Результаты: UniCoRn последовательно соответствовал или превосходил специализированные модели. Персонализация улучшила результаты, обеспечив улучшение на 10% в рекомендациях и лифт 7% в поиске. Ablation-исследования показали важность явного включения типа задачи как контекста, заполнения отсутствующих признаков для максимизации покрытия признаков и применения feature crossing для повышения эффективности multi-task learning.

(👉 Рекомендую к прочтению) Unified Embeddings (Etsy) рассказывает, как они унифицировали transformer-based, term-based и graph-based эмбеддинги в архитектуре two-tower модели. Целью было устранить распространённые пробелы, такие как несоответствия между поисковыми запросами и словарём товаров (лексическое сопоставление) и плохая производительность нейронных эмбеддингов из-за ограниченного пользовательского контекста.

Их модель использует классическую two-tower структуру, состоящую из энкодера товаров и объединённого энкодера query-user. Энкодер товаров объединяет transformer-based эмбеддинги, эмбеддинги двудольного графа (обученные на годовых данных взаимодействий query-product), эмбеддинги заголовков товаров и информацию о локации. Интересно, что прямой finetuning transformer-based моделей вроде distilBERT и T5 не дал значительных улучшений офлайн-метрик. Вместо этого, вдохновлённые docT5query, они предобучили модель T5-small, специально разработанную для предсказания исторически приобретённых запросов на основе описаний товаров. Энкодер query-user объединяет текстовые эмбеддинги запроса, локацию и данные исторического вовлечения. И эмбеддинги query/title, и эмбеддинги локации разделяются между двумя башнями для согласованности.

Они подчёркивают эффективность negative sampling, делясь несколькими подходами, такими как hard in-batch негативы (позитивы из других запросов внутри батча), uniform негативы (случайно выбранные из всего корпуса товаров) и dynamic hard негативы (случайные сэмплы, сужённые моделью для выявления самых сложных примеров). Цель здесь — найти наиболее похожие негативы, чтобы помочь модели учиться на самых сложных образцах.

Чтобы сбалансировать релевантность с качеством товара, они интегрировали quality boosting в свои эмбеддинги через approximate nearest neighbor (ANN) индекс. Эмбеддинги товаров дополнены query-independent оценками качества, отражающими атрибуты вроде рейтингов товара, свежести и conversion rates — факторов, доказанно увеличивающих вовлечение независимо от релевантности запроса. Учитывая исходные эмбеддинги товаров, они конкатенируют их с векторами оценок качества; соответствующий эмбеддинг запроса конкатенируется с постоянным вектором. Финальная оценка товара для запроса — это dot product обновлённых эмбеддингов товара и запроса.

Система работает через два основных этапа: офлайн-индексация и онлайн-обслуживание. Офлайн эмбеддинги и оценки качества генерируются и предварительно индексируются в ANN систему (используя FAISS с 4-битным product quantizer). Этот подход в сочетании с шагом re-ranking достигает потери recall ниже 4%, удерживая задержку под 20мс@p99. На онлайн-этапе входящие запросы эмбеддятся в реальном времени для retrieval товаров из ANN индекса. Они также поделились, как применяли кэширование, работая с признаками персонализации внутри сессии.

Результаты: В A/B-тестировании унифицированная модель эмбеддингов привела к лифту конверсии по всему сайту на 2.63% и увеличила органические поисковые покупки на 5.58%. Офлайн-тесты показали, что Unified Embeddings последовательно превосходили традиционные бейзлайны как для head, так и для tail запросов. Ablation-исследования выявили, что самые сильные вклады поступали от graph эмбеддингов (+15% recall@100), затем от эмбеддингов описаний (+6.3%) и атрибутов (+3.9%). Кроме того, эмбеддинги локации значительно улучшили purchase recall@100 (+8%) для пользователей из США за счёт минимизации географических несоответствий. Удаление hard негативов привело к заметному падению производительности на 7%, что подчёркивает их важность.

Embedding Long Tail (Best Buy) рассказывает, как они оптимизируют семантический поиск товаров, чтобы лучше обрабатывать long-tail запросы, которые обычно страдают от разреженных данных пользовательских взаимодействий.

Чтобы создать высококачественный датасет, они собрали данные пользовательского вовлечения со страниц товаров и применили двухэтапный процесс фильтрации, сократив объём данных (в 10 раз) при сохранении качества и сбалансированного покрытия по категориям товаров. Сначала они оставили взаимодействия, наблюдаемые как минимум от двух уникальных посетителей, затем выполнили стратифицированное сэмплирование по категориям для смягчения popularity bias. Чтобы дополнительно дополнить эти данные, они подавали запросы Llama-13B для генерации десяти синтетических поисковых запросов на товар, используя заголовок товара, категорию, описание и спецификации, тем самым обеспечивая всестороннее покрытие каталога.

Их модель следует two-tower архитектуре на основе внутренне разработанного варианта BERT в Best Buy — адаптации RoBERTa, дообученной через masked language modeling на поисковых запросах и информации о товарах. Они использовали первые пять слоёв этой BERT модели для инициализации энкодеров поиска и товаров. Обучение включало использование in-batch негативов с multi-class cross-entropy loss. Для развёртывания Solr функционирует как inverted index, так и vector database, с добавленным слоем кэширования для минимизации избыточных запросов к сервису эмбеддингов.

Результаты: Добавление семантического retrieval к существующему лексическому поиску улучшило conversion rates на 3% в онлайн A/B тестах. Офлайн-эксперименты продемонстрировали инкрементальные улучшения через различные улучшения: двухэтапная фильтрация данных (+0.24% recall@200), синтетические позитивные запросы (+0.7%), дополнительные признаки товаров (+1.15%), finetuning query-to-query с последующим query-to-product (+2.44%) и model weight merging (+4.67%). Примечательно, что их финальная модель превзошла бейзлайн (all-mpnet-base-v2), используя лишь половину параметров — 50M против 110M. (Тем не менее, это может быть не вполне честное сравнение, учитывая, что бейзлайн не был дообучен.)

User Behavioral Service (YouTube) представил инновационный подход для эффективного обслуживания больших моделей пользовательских последовательностей, обходя проблемы задержки.

Интуиция за User Behavior Service (UBS) — отделить обслуживание модели пользовательских последовательностей от основной рекомендательной модели. Этот дизайн позволяет независимо контролировать вычисление пользовательских эмбеддингов. Хотя обе модели co-trained, они экспортируются и обслуживаются отдельно. Пользовательская модель вычисляет эмбеддинги асинхронно, сохраняя их в высокоскоростном key-value кэше, который регулярно обновляется. Если запрошенный эмбеддинг недоступен, возвращается пустой эмбеддинг, пока запускается асинхронное обновление. Эта настройка позволяет экспериментировать со значительно большими моделями без ограничений по задержке — концепция, похожая на то, что я описал как «Just-in-time infrastructure» в моей keynote на RecSys 2022.

Результаты: В A/B тестах UBS улучшил производительность по шести различным задачам ранжирования, ограничив рост стоимости. Например, User Model с длиной последовательности 1000 показала улучшение онлайн-метрик на 0.38% по сравнению с бейзлайн моделью с длиной последовательности 20, с приростами офлайн-точности от 0.01% до 0.40% по нескольким задачам. Прямое обслуживание большой модели пользовательских последовательностей увеличило бы стоимость на 28.7%, но подход UBS ограничил этот рост лишь 2.8%.

(👉 Рекомендую к прочтению) Modern Ranking Platform (Zalando) подробно описывает их real-time платформу, разработанную для сценариев как поиска, так и просмотра. Работа обсуждает их дизайн системы, генерацию кандидатов, методы retrieval и политики ранжирования.

Их платформа построена вокруг нескольких ключевых принципов:

Композируемость: модели могут быть объединены вертикально (слоистое ранжирование) или горизонтально путём интеграции выходов от различных моделей или генераторов кандидатов. Масштабируемость: для управления вычислительными затратами платформа сначала использует эффективные, но менее точные генераторы кандидатов. Эти начальные кандидаты затем уточняются более точными, но вычислительно интенсивными ранжировщиками — стандартный дизайн для recsys. Общая инфраструктура: когда возможно, обучающие датасеты, эмбеддинги, feature stores и инфраструктура обслуживания переиспользуются для упрощения операций. Управляемое ранжирование: платформа допускает внешние корректировки через слой политик, упрощая выравнивание ранжирований с бизнес-целями.

Их генератор кандидатов использует классическую two-tower модель. Башня покупателя обновляет эмбеддинги на основе недавних действий покупателя и текущего контекста всякий раз, когда покупатель посещает сайт, обеспечивая свежесть эмбеддингов. Башня товара предвычисляет эмбеддинги товаров и хранит их в vector database для быстрого retrieval. Эти эмбеддинги сопоставляются через dot product. Для создания эмбеддингов покупателей Transformer энкодер обучается на исторических данных поведения покупателей и контекстных данных, предсказывая следующее вероятное взаимодействие.

Ранжировщик — мультизадачная модель, предсказывающая вероятность различных действий покупателя, таких как клики, добавление товаров в wishlist или корзину и покупки. Каждое действие имеет свою голову предсказания, причём все вносят равный вклад в обучающий loss. Во время обслуживания важность каждого типа действия может динамически корректироваться. В целом ранжировщик выдаёт персонализированные оценки для каждого товара-кандидата по нескольким потенциальным взаимодействиям с покупателем.

Наконец, слой политик обеспечивает выравнивание системы с более широкими бизнес-целями. Например, он может поощрять исследование, продвигая новые товары через эвристики вроде epsilon-greedy стратегий. Он также применяет другие бизнес-правила, такие как снижение видимости ранее купленных товаров и обеспечение разнообразия товаров путём предотвращения появления товаров одного бренда подряд.

Результаты: Унифицированная архитектура продемонстрировала сильную производительность в четырёх A/B тестах, достигнув совокупного роста вовлечённости на +15% и роста выручки на +2.2%. Итеративные улучшения дополнительно иллюстрируют эффективность каждого компонента системы: введение обучаемых эмбеддингов в генерации кандидатов повысило вовлечённость на +4.48% и выручку на +0.18%; добавление продвинутых слоёв ранжирования и политик дало дополнительные +4.04% вовлечённости и +0.86% выручки; а использование контекстных данных обеспечило дополнительный лифт +2.40% по вовлечённости и +0.60% по выручке.

• • •

Хотя ранние исследования в 2023 году — применявшие LLM к рекомендациям и поиску — часто давали слабые результаты, эти недавние работы показывают больше перспектив, особенно потому что они подкреплены индустриальными результатами. Это говорит о том, что есть осязаемые преимущества от изучения дополнения recsys и поисковых систем с LLM, повышающего производительность при снижении стоимости и усилий.

Ссылки

Chamberlain, Benjamin P., et al. «Tuning Word2vec for Large Scale Recommendation Systems». Fourteenth ACM Conference on Recommender Systems, 2020, pp. 732–37. arXiv.org, https://doi.org/10.1145/3383313.3418486.

Hidasi, Balázs, et al. Session-Based Recommendations with Recurrent Neural Networks. arXiv:1511.06939, arXiv, 29 Mar. 2016. arXiv.org, https://doi.org/10.48550/arXiv.1511.06939.

Chen, Qiwei, et al. Behavior Sequence Transformer for E-Commerce Recommendation in Alibaba. arXiv:1905.06874, arXiv, 15 May 2019. arXiv.org, https://doi.org/10.48550/arXiv.1905.06874.

Sun, Fei, et al. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer. arXiv:1904.06690, arXiv, 21 Aug. 2019. arXiv.org, https://doi.org/10.48550/arXiv.1904.06690.

Singh, Anima, et al. Better Generalization with Semantic IDs: A Case Study in Ranking for Recommendations. arXiv:2306.08121, arXiv, 30 May 2024. arXiv.org, https://doi.org/10.48550/arXiv.2306.08121.

Chen, Gaode, et al. «A Multi-Modal Modeling Framework for Cold-Start Short-Video Recommendation». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 391–400. ACM Digital Library, https://doi.org/10.1145/3640457.3688098.

Wang, Hangyu, et al. FLIP: Fine-Grained Alignment between ID-Based Models and Pretrained Language Models for CTR Prediction. arXiv:2310.19453, arXiv, 30 Oct. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2310.19453.

Vančura, Vojtěch, et al. «beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems». 18th ACM Conference on Recommender Systems, 2024, pp. 1102–07. arXiv.org, https://doi.org/10.1145/3640457.3691707.

Li, Yaoyiran, et al. CALRec: Contrastive Alignment of Generative LLMs for Sequential Recommendation. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2405.02429.

Zhang, Chiyu, et al. EmbSum: Leveraging the Summarization Capabilities of Large Language Models for Content-Based Recommendations. arXiv:2405.11441, arXiv, 19 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2405.11441.

Shah, Jaidev, et al. «Analyzing User Preferences and Quality Improvement on Bing's WebPage Recommendation Experience with Large Language Models». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 751–54. ACM Digital Library, https://doi.org/10.1145/3640457.3688062.

Pei, Yingchi, et al. «Leveraging LLM Generated Labels to Reduce Bad Matches in Job Recommendations». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 796–99. ACM Digital Library, https://doi.org/10.1145/3640457.3688043.

Search Query Understanding with LLMs: From Ideation to Production. https://engineeringblog.yelp.com/2025/02/search-query-understanding-with-LLMs.html. Дата обращения: 5 Mar. 2025.

Lindstrom, Henrik, et al. «Encouraging Exploration in Spotify Search through Query Recommendations». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 775–77. ACM Digital Library, https://doi.org/10.1145/3640457.3688035.

Aluri, Geetha Sai, et al. «Playlist Search Reinvented: LLMs Behind the Curtain». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 813–15. ACM Digital Library, https://doi.org/10.1145/3640457.3688047.

Zhang, Gaowei, et al. Scaling Law of Large Sequential Recommendation Models. arXiv:2311.11351, arXiv, 19 Nov. 2023. arXiv.org, https://doi.org/10.48550/arXiv.2311.11351.

Wang, Junting, et al. «A Pre-Trained Sequential Recommendation Framework: Popularity Dynamics for Zero-Shot Transfer». 18th ACM Conference on Recommender Systems, 2024, pp. 433–43. arXiv.org, https://doi.org/10.1145/3640457.3688145.

Liu, Qi, et al. Efficient Transfer Learning Framework for Cross-Domain Click-Through Rate Prediction. arXiv:2408.16238, arXiv, 29 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.16238.

Khani, Nikhil, et al. Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems. arXiv:2408.14678, arXiv, 26 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.14678.

Zhang, Yin, et al. «Self-Auxiliary Distillation for Sample Efficient Learning in Google-Scale Recommenders». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 829–31. ACM Digital Library, https://doi.org/10.1145/3640457.3688041.

Cui, Yu, et al. «Distillation Matters: Empowering Sequential Recommenders to Match the Performance of Large Language Model». 18th ACM Conference on Recommender Systems, 2024, pp. 507–17. arXiv.org, https://doi.org/10.1145/3640457.3688118.

Yang, Zhiming, et al. MLoRA: Multi-Domain Low-Rank Adaptive Network for CTR Prediction. arXiv:2408.08913, arXiv, 14 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.08913.

Hsu, Yi-Ping, et al. «Taming the One-Epoch Phenomenon in Online Recommendation System by Two-Stage Contrastive ID Pre-Training». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 838–40. ACM Digital Library, https://doi.org/10.1145/3640457.3688053.

Joshi, Swanand, et al. «Sliding Window Training - Utilizing Historical Recommender Systems Data for Foundation Models». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 835–37. ACM Digital Library, https://doi.org/10.1145/3640457.3688051.

Penha, Gustavo, et al. Bridging Search and Recommendation in Generative Retrieval: Does One Task Help the Other? arXiv:2410.16823, arXiv, 22 Oct. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2410.16823.

Firooz, Hamed, et al. 360Brew: A Decoder-Only Foundation Model for Personalized Ranking and Recommendation. arXiv:2501.16450, arXiv, 27 Jan. 2025. arXiv.org, https://doi.org/10.48550/arXiv.2501.16450.

Bhattacharya, Moumita, et al. Joint Modeling of Search and Recommendations Via an Unified Contextual Recommender (UniCoRn). arXiv:2408.10394, arXiv, 19 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.10394.

Jha, Rishikesh, et al. Unified Embedding Based Personalized Retrieval in Etsy Search. arXiv:2306.04833, arXiv, 25 Sept. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2306.04833.

Kekuda, Akshay, Yuyang Zhang, and Arun Udayashankar. «Embedding based retrieval for long tail search queries in ecommerce». Proceedings of the 18th ACM Conference on Recommender Systems. 2024. https://dl.acm.org/doi/10.1145/3640457.3688039.

Li, Yuening, et al. «Short-Form Video Needs Long-Term Interests: An Industrial Solution for Serving Large User Sequence Models». Proceedings of the 18th ACM Conference on Recommender Systems, Association for Computing Machinery, 2024, pp. 832–34. ACM Digital Library, https://doi.org/10.1145/3640457.3688030.

Celikik, Marjan, et al. Building a Scalable, Effective, and Steerable Search and Ranking Platform. 1, arXiv:2409.02856, arXiv, 4 Sept. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2409.02856.

Если вы нашли это полезным, пожалуйста, цитируйте этот материал как:

Yan, Ziyou. (Mar 2025). Improving Recommendation Systems & Search in the Age of LLMs. eugeneyan.com. https://eugeneyan.com/writing/recsys-llm/.

или

@article{yan2025recsys-llm, title = {Improving Recommendation Systems & Search in the Age of LLMs}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2025}, month = {Mar}, url = {https://eugeneyan.com/writing/recsys-llm/} }

Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, RecSys, LLM и инженерии.