RecSys 2020: Takeaways and Notable Papers
Статья суммирует основные выводы и примечательные доклады конференции RecSys 2020 (22–26 сентября). В этом году усилился акцент на этике, предвзятости и справедливости рекомендательных систем, а среди популярных подходов к устранению смещений выделялось обратное взвешивание по склонности (inverse propensity scoring). Заметен сдвиг в сторону последовательных моделей (SASRec, BERT4Rec) и бандитских/RL-алгоритмов. Команда Google опровергла результаты оригинальной статьи о Neural Collaborative Filtering, показав, что простое скалярное произведение превосходит обученные MLP-сходства. Ряд работ продемонстрировал, что результаты офлайн-оценки рекомендаций сильно зависят от стратегии разбиения данных и выборки целевых объектов. Доклады Netflix, Etsy, Spotify, Alibaba, Twitter и других компаний показали, как рекомендательные системы работают в реальных продуктах — например, Etsy повысил CTR на 8–23%, а Alibaba увеличила время на платформе на 4,63%.
RecSys 2020: Takeaways and Notable Papers
RecSys 2020: выводы и примечательные статьи
[ recsys deeplearning production survey ] · 16 мин. чтения
RecSys 2020 ran from 22nd - 26th September. It was a great opportunity to peek into some of the latest thinking about recommender systems from academia and industry. Here are some observations and notes on papers I enjoyed.
RecSys 2020 проходил с 22 по 26 сентября. Это была отличная возможность познакомиться с последними идеями о рекомендательных системах из академической среды и индустрии. Ниже — мои наблюдения и заметки о понравившихся статьях.
Emphasis on ethics & bias; More sequences & bandits
Акцент на этике и предвзятости; больше последовательных моделей и бандитов
There was increased emphasis on ethics and bias this year. Day 1’s keynote was “4 Reasons Why Social Media Make Us Vulnerable to Manipulation” (Video) while Day 2’s keynote was “Bias in Search and Recommender Systems” (Slides).
В этом году заметно усилился акцент на этике и предвзятости. Ключевой доклад первого дня — «4 причины, почему социальные сети делают нас уязвимыми к манипуляциям» (Видео), а второго дня — «Предвзятость в поисковых и рекомендательных системах» (Слайды).
Two (out of nine) sessions were on “Fairness, Filter Bubbles, and Ethical Concerns” and “Unbiased Recommendation and Evaluation”, discussing papers such as:
Две (из девяти) секции были посвящены темам «Справедливость, фильтрующие пузыри и этические проблемы» и «Несмещённые рекомендации и оценка», где обсуждались такие статьи, как:
Деконструкция фильтрующего пузыря: принятие решений пользователем и рекомендательные системы Устранение смещений в рекомендациях «товар-к-товару» с помощью небольших аннотированных наборов данных Связь между смещением популярности, калибровкой и справедливостью
Inverse propensity scoring was a popular approach taken to debias recommendations:
Обратное взвешивание по склонности (Inverse propensity scoring) стало популярным подходом для устранения смещений в рекомендациях:
Несмещённое обучение каузального эффекта рекомендаций Дважды робастная оценка метрик ранжирования с пост-кликовыми конверсиями Несмещённое предсказание кликов по рекламе для позиционно-зависимых рекламных систем
We also saw an increased shift towards sequence models (with SASRec (2018) and BERT4Rec (2019) being common benchmarks) and bandit and reinforcement learning for recommender systems:
Мы также наблюдали усиление сдвига в сторону последовательных моделей (с SASRec (2018) и BERT4Rec (2019) в качестве распространённых бенчмарков), а также бандитных алгоритмов и обучения с подкреплением для рекомендательных систем:
SSE-PT: последовательные рекомендации через персонализированный Transformer FISSA: объединение моделей сходства товаров с сетями самовнимания Контекстные бандиты для просмотра на мобильных устройствах в крупномасштабных онлайн-рекомендациях Обучение сотрудничеству через мультиагентное обучение с подкреплением
Notable: Offline evaluation, MF > MLP, applications
Примечательное: офлайн-оценка, MF > MLP, приложения
Several papers on offline evaluation highlighted the nuances and complexities of assessing recommender systems offline and suggested process improvements. Also, Netflix gave a great talk sharing their findings from a comprehensive user study.
Несколько статей по офлайн-оценке подчеркнули нюансы и сложности оценки рекомендательных систем в офлайн-режиме и предложили улучшения процесса. Кроме того, Netflix представил отличный доклад о результатах комплексного пользовательского исследования.
There was also a (controversial?) talk by Google refuting the findings of a previous paper where learned similarities via multi-layer perceptrons beat the simple dot product.
Также состоялся (спорный?) доклад Google, опровергающий выводы предыдущей статьи, в которой обученные сходства через многослойные перцептроны превосходили простое скалярное произведение.
Of course, I also enjoyed the many papers sharing how organizations built and deploy recommender systems in the wild (more here).
Разумеется, мне также понравились многочисленные статьи о том, как организации создают и разворачивают рекомендательные системы в реальных условиях (ещё здесь).
User research on the nuances of recommendations
Пользовательские исследования нюансов рекомендаций
Zach Schendel from Netflix discussed recommendation complexity and their findings from user research. There are three sources of recommendation complexity, namely:
Zach Schendel из Netflix рассказал о сложности рекомендаций и результатах пользовательских исследований. Существуют три источника сложности рекомендаций:
Расположение: Где именно в интерфейсе находится рекомендация? Пользователь: Кто видит рекомендацию? Каков его прошлый опыт взаимодействия с данным расположением рекомендаций? Контекст: Что происходит в данный момент? Каковы потребности пользователя?
Netflix found that users have different expectations across different recommendation placements. For example, users have higher expectations of similarity when it’s a 1:1 recommendation (e.g., after completing a show, Netflix would recommend a single next title). Such recommendations are risky as there are no backups, and there are no other recommendations to help the user understand similarity.
Netflix обнаружил, что у пользователей разные ожидания в зависимости от расположения рекомендаций. Например, пользователи предъявляют более высокие требования к сходству при рекомендации 1:1 (например, после завершения сериала Netflix рекомендует одно следующее название). Такие рекомендации рискованны, поскольку запасных вариантов нет, и нет других рекомендаций, которые помогли бы пользователю понять логику сходства.
In contrast, users have lower expectations in 1:many recommendations (e.g., a slate of recommendations), such as when the user is browsing. In the example below, “Queer Eye” might seem far removed from “Million Dollar Beach House”. But with the other recommendations in the slate, it makes sense within the overall theme of reality shows.
Напротив, у пользователей более низкие ожидания при рекомендациях 1:много (например, набор рекомендаций), как при обычном просмотре. В примере ниже «Queer Eye» может показаться далёким от «Million Dollar Beach House». Но в контексте остальных рекомендаций в наборе это вписывается в общую тему реалити-шоу.
They also found that users have higher expectations in recommendations that result from explicit actions (e.g., search). In general, the greater the user effort (e.g., search, click), the higher the user expectation. Contrast this to lower effort recommendations, such as on the home page, or in recommendation slates when casually browsing.
Они также обнаружили, что у пользователей более высокие ожидания от рекомендаций, полученных в результате явных действий (например, поиска). В целом, чем больше усилий пользователя (например, поиск, клик), тем выше его ожидания. Сравните это с рекомендациями, требующими меньших усилий, — например, на главной странице или в подборках при свободном просмотре.
The two findings suggest there’s no one-size-fits-all approach for recommendations. Recommenders developed for the home page/email (low user effort) might not work similarly if placed on the detail page or search page. Also, 1:1 and 1:many recommendations should be built and evaluated differently.
Эти два вывода указывают на то, что универсального подхода к рекомендациям не существует. Рекомендательные модели, разработанные для главной страницы или email (низкие усилия пользователя), могут не работать так же на странице товара или странице поиска. Кроме того, рекомендации 1:1 и 1:много следует строить и оценивать по-разному.
Netflix also highlighted the importance of understanding users’ context. After finishing a reality show, users are likely to watch another reality show, right? Not necessarily. Netflix found that consecutive reality show watching happened only 18% of the time.
Netflix также подчеркнул важность понимания контекста пользователей. После завершения реалити-шоу пользователи, скорее всего, посмотрят ещё одно реалити-шоу, верно? Не обязательно. Netflix обнаружил, что последовательный просмотр реалити-шоу происходил лишь в 18% случаев.
There are many contexts where similarity is not required or can worsen recommendations. For example, users might want a change of pace or mood from that horror movie they just watched. Also, does the user stick to a specific genre (e.g., Korean dramas) or hop around diverse genres? A better understanding will help improve the user experience.
Существует множество ситуаций, когда сходство не требуется или даже может ухудшить рекомендации. Например, пользователь может захотеть сменить темп или настроение после только что просмотренного фильма ужасов. Также важно понимать: предпочитает ли пользователь определённый жанр (например, корейские дорамы) или переключается между разными жанрами? Более глубокое понимание поможет улучшить пользовательский опыт.
Towards more robust offline evaluation and study reproducibility
К более надёжной офлайн-оценке и воспроизводимости исследований
Pablo Castells from the Autonomous University of Madrid shared about how different target sampling approaches affect offline evaluation. There are three ways of creating validation targets: With no unrated data, with all unrated data, and somewhere in between.
Pablo Castells из Автономного университета Мадрида рассказал о том, как различные подходы к выборке целевых объектов влияют на офлайн-оценку. Существуют три способа формирования валидационных целей: без неоценённых данных, со всеми неоценёнными данными и промежуточный вариант.
Three ways to generate validation set targets.
Три способа формирования целевых объектов для валидационного набора.
The relative performance of recommenders could differ based on how the validation set was created. Here’s an example below. On the left (with unrated data), recommendation set A outperforms recommendation set B. But on the right (without unrated data), recommendation set B is superior.
Относительная производительность рекомендательных моделей может различаться в зависимости от того, как был создан валидационный набор. Вот пример ниже. Слева (с неоценёнными данными) набор рекомендаций A превосходит набор рекомендаций B. Но справа (без неоценённых данных) набор рекомендаций B оказывается лучше.
The relative performance of models differ when considering all unrated vs. no unrated labels.
Относительная производительность моделей различается при учёте всех неоценённых данных и без них.
They also ran several experiments on the MovieLens 1M dataset and demonstrated that the relative precision@10 performance differs with and without unrated data.
Они также провели несколько экспериментов на наборе данных MovieLens 1M и продемонстрировали, что относительная производительность по precision@10 различается с неоценёнными данными и без них.
The relative performance of recommenders differ with and without unrated data.
Относительная производительность рекомендательных моделей различается с неоценёнными данными и без них.
Similarly, Zaiqiao Meng from the University of Glasgow showed how different data splitting strategies (for train and validation) can affect the relative performance of recommendation systems in offline evaluation. First, they discussed the four main data splitting strategies:
Аналогично, Zaiqiao Meng из Университета Глазго показал, как различные стратегии разбиения данных (для обучения и валидации) могут влиять на относительную производительность рекомендательных систем при офлайн-оценке. Сначала они описали четыре основные стратегии разбиения данных:
Leave-one-last: оставить один последний товар, оставить одну последнюю корзину/сессию Временное разбиение: временное разбиение внутри каждого пользователя, временное разбиение (по одной дате) глобально Случайное: для каждого пользователя разделить взаимодействия на обучающую и тестовую выборки По пользователям: часть пользователей в обучающую выборку, остальных — в тестовую
Then, with the three most popular splitting strategies (i.e., leave one last item, leave one last basket, and global temporal split), they ran experiments on the Ta Feng and Dunnhumby datasets. The relative performance of recommenders changed often across splitting strategies (indicated by the rank swaps).
Затем, используя три наиболее популярные стратегии разбиения (а именно: leave one last item, leave one last basket и глобальное временное разбиение), они провели эксперименты на наборах данных Ta Feng и Dunnhumby. Относительная производительность рекомендательных моделей часто менялась в зависимости от стратегии разбиения (на что указывают перестановки рангов).
They also found certain models to perform better under different splitting strategies: Triple2vec performs better under leave one last item while VBCAR does better under temporal evaluation.
Они также обнаружили, что определённые модели показывают лучшие результаты при разных стратегиях разбиения: Triple2vec лучше работает при leave one last item, тогда как VBCAR показывает лучшие результаты при временной оценке.
Zhu Sun from Macquarie University examined 85 papers on implicit feedback-based top-N recommendations published in the past three years. Their paper gave a good overview of the different factors that could affect recommendation systems such as data pre-processing (and how data is excluded), objective functions, negative sampling, data splitting approaches, and evaluation metrics.
Zhu Sun из Университета Маккуори проанализировал 85 статей о top-N рекомендациях на основе неявной обратной связи, опубликованных за последние три года. Их работа дала хороший обзор различных факторов, которые могут влиять на рекомендательные системы: предобработка данных (и какие данные исключаются), целевые функции, негативная выборка, стратегии разбиения данных и метрики оценки.
Among the 85 papers, they found inconsistencies on:
Среди 85 статей были обнаружены несоответствия по следующим аспектам:
Фильтрация данных: в некоторых исследованиях исключались пользователи и товары с менее чем 5 оценками, в других порог составлял 10. Валидация: одни использовали leave-one-out, другие — разбиение по пропорции. (Они также обнаружили, что 37% статей подбирали гиперпараметры на тестовом наборе!) Негативная выборка: подходы включали равномерную выборку, выборку с низкой популярностью и выборку с высокой популярностью.
Unsurprisingly, the relative performance of various models differed with different combinations of pre-processing, negative sampling, evaluation metrics, etc.
Неудивительно, что относительная производительность различных моделей менялась при разных комбинациях предобработки, негативной выборки, метрик оценки и т. д.
Pigi Kouki from Relational AI highlighted one key failing in offline evaluation metrics: They penalize a model if it does not predict the same product (i.e., identical product ID). Thus, near-identical products—which a human might consider relevant—are not counted as hits. She then shared about their two-step offline evaluation process when building a recommender system.
Pigi Kouki из Relational AI выделила один ключевой недостаток офлайн-метрик оценки: они штрафуют модель, если она не предсказывает тот же самый продукт (то есть идентичный ID продукта). Таким образом, почти идентичные товары, которые человек мог бы счесть релевантными, не засчитываются как попадания. Затем она рассказала об их двухэтапном процессе офлайн-оценки при создании рекомендательной системы.
First, they trained 15 models and selected five which performed best in offline evaluation:
Сначала они обучили 15 моделей и отобрали пять лучших по результатам офлайн-оценки:
SR-GNN: лучший hit rate, mean reciprocal rank и nDCG V-STAN: лучшие precision, recall и mean average precision V-SKNN, GRU4Rec: лучшие coverage и popularity STAMP: удовлетворительные результаты по всем метрикам
In the second step, human experts evaluated the recommendations from the five models. 10 experts evaluated the model across three categories in the home improvement domain. The experts had access to title, description, image, and links to the product. They could rate the recommendation as objectively relevant 👍, subjectively relevant ✅, or irrelevant 👎.
На втором этапе эксперты-люди оценивали рекомендации пяти моделей. 10 экспертов оценивали модели по трём категориям в области товаров для дома. Экспертам были доступны название, описание, изображение и ссылки на продукт. Они могли оценить рекомендацию как объективно релевантную 👍, субъективно релевантную ✅ или нерелевантную 👎.
Recommendations were evaluated as objectively relevant 👍, subjectively relevant ✅, or irrelevant 👎.
Рекомендации оценивались как объективно релевантные 👍, субъективно релевантные ✅ или нерелевантные 👎.
In contrast to the offline evaluation metrics, human experts found GRU4Rec to have very relevant recommendations. However, because its recommendations did not match the IDs of products added to cart, GRU4Rec did not perform as well on offline evaluation metrics.
В отличие от офлайн-метрик, эксперты-люди оценили рекомендации GRU4Rec как весьма релевантные. Однако, поскольку его рекомендации не совпадали с ID продуктов, добавленных в корзину, GRU4Rec показал худшие результаты по офлайн-метрикам оценки.
STAMP and GRU4Rec performed best in the second step and STAMP was put through an A/B test. This led to a 15.6% increase in CTR and an 18.5% increase in revenue per session.
STAMP и GRU4Rec показали лучшие результаты на втором этапе, и STAMP был запущен в A/B-тест. Это привело к увеличению CTR на 15,6% и росту дохода на сессию на 18,5%.
Overall, these papers made me rethink my experimentation and offline evaluation workflow. Furthermore, offline evaluation of interactive machine learning systems (e.g., recommendation, search) is tricky as we can’t observe how user behaviour will change.
В целом эти статьи заставили меня переосмыслить свой процесс экспериментирования и офлайн-оценки. Более того, офлайн-оценка интерактивных систем машинного обучения (например, рекомендаций, поиска) сложна, поскольку мы не можем наблюдать, как изменится поведение пользователей.
Comparing the simple dot-product to learned similarities
Сравнение простого скалярного произведения с обученными сходствами
Walid Krichene from Google revisited (and overturned) the findings from the neural collaborative filtering (NCF; 2017) paper in his talk Neural Collaborative Filtering vs. Matrix Factorization Revisited.
Walid Krichene из Google пересмотрел (и опроверг) выводы статьи о нейронной коллаборативной фильтрации (NCF; 2017) в своём докладе Neural Collaborative Filtering vs. Matrix Factorization Revisited.
In the original NCF paper, a multi-layer perceptron (MLP) was suggested to replace the dot product. This was based on experimentation results (where MLP was superior) and the universal approximation property.
В оригинальной статье о NCF предлагалось заменить скалярное произведение на многослойный перцептрон (MLP). Это основывалось на результатах экспериментов (где MLP был лучше) и свойстве универсальной аппроксимации.
For the current paper, the team ran multiple experiments on the MovieLens 1M and the Pinterest dataset. They found the dot product to be superior to learned similarity approaches (MLP and neural matrix factorization).
Для новой статьи команда провела множество экспериментов на наборах данных MovieLens 1M и Pinterest. Они обнаружили, что скалярное произведение превосходит подходы с обученным сходством (MLP и нейронная матричная факторизация).
When asked, Walid suggested that one possible reason was better hyperparameters. They found the matrix factorization parameters in the original NCF paper under regularized. Another possible reason could be the addition of explicit biases that have been empirically shown to improve model performance.
На вопрос об этом Walid предположил, что одна из возможных причин — лучший подбор гиперпараметров. Они обнаружили, что параметры матричной факторизации в оригинальной статье о NCF были недостаточно регуляризированы. Другой возможной причиной могло быть добавление явных смещений (biases), которые эмпирически показали улучшение производительности модели.
The paper also highlighted the practical advantages of the dot product, where retrieval can be done efficiently (linear complexity vs quadratic complexity for MLP). The dot product also doesn’t need to be learned. Thus, for most applications, the dot product should be the default approach.
Статья также подчеркнула практические преимущества скалярного произведения: поиск может выполняться эффективно (линейная сложность против квадратичной для MLP). Скалярное произведение также не требует обучения. Таким образом, для большинства приложений скалярное произведение должно быть подходом по умолчанию.
(Note: In a previous paper, Google had also demonstrated that MLPs/feed-forward networks were inefficient in capturing multiplicative interactions.)
(Примечание: в предыдущей статье Google также продемонстрировал, что MLP/нейронные сети прямого распространения неэффективны в захвате мультипликативных взаимодействий.)
Industry applications: context, unexpectedness, interesting use cases
Индустриальные приложения: контекст, неожиданность, интересные кейсы
Moumita Bhattacharya from Etsy shared about their two approaches to integrate search query as context into their content-based recommender (image below). The goal is to include user intent (i.e., search query) and seasonality in candidate generation.
Moumita Bhattacharya из Etsy рассказала о двух подходах к интеграции поискового запроса как контекста в их контентную рекомендательную систему (изображение ниже). Цель — включить намерение пользователя (то есть поисковый запрос) и сезонность в генерацию кандидатов.
Etsy's content based recommender (without context).
Контентная рекомендательная система Etsy (без контекста).
For their first approach, they extracted top N queries associated with each listing and then trained embeddings for items and queries. With these embeddings, candidates were generated via approximate nearest neighbours. However, this did not work as well as the second, simpler approach.
Для первого подхода они извлекли топ-N запросов, связанных с каждым листингом, а затем обучили эмбеддинги для товаров и запросов. С помощью этих эмбеддингов кандидаты генерировались через приближённый поиск ближайших соседей. Однако этот подход сработал хуже, чем второй, более простой.
Etsy's first approach to context-based candidate generation.
Первый подход Etsy к контекстной генерации кандидатов.
Here’s their second approach: For each search query, a set of items would be shown to the user (i.e., search results)—these are the target items. Then, for each target item, other items the user interacted with (in the same search session) become candidate items. Thus, for each query-target pair, they would have a set of candidates.
Вот их второй подход: для каждого поискового запроса пользователю показывается набор товаров (то есть результаты поиска) — это целевые товары. Затем для каждого целевого товара другие товары, с которыми пользователь взаимодействовал (в рамках той же поисковой сессии), становятся товарами-кандидатами. Таким образом, для каждой пары запрос-цель они получали набор кандидатов.
Etsy's second approach to context-based candidate generation.
Второй подход Etsy к контекстной генерации кандидатов.
Together with a ranker (applied after candidate generation), they improved recall by 12.42% in offline evaluation. In online evaluation, it increased click-through rate by 8 - 23% and conversion rate by 0.25 - 1.16%.
В сочетании с ранжированием (применяемым после генерации кандидатов) они улучшили recall на 12,42% в офлайн-оценке. В онлайн-оценке это увеличило CTR на 8–23% и конверсию на 0,25–1,16%.
Casper Hansen from the University of Copenhagen shared how Spotify learns user preferences based on session history and the current context. Specifically, by using the sequence of past sessions and the context (at the start of each session), can they predict which tracks will be played in a new session and context?
Casper Hansen из Копенгагенского университета рассказал, как Spotify обучает предпочтения пользователей на основе истории сессий и текущего контекста. Конкретно: используя последовательность прошлых сессий и контекст (в начале каждой сессии), можно ли предсказать, какие треки будут воспроизведены в новой сессии и контексте?
Users played music in a variety of contexts (time, device).
Пользователи слушали музыку в различных контекстах (время, устройство).
Music track embeddings (40-dimension vectors) were trained via word2vec. Then, track embeddings were averaged to create three session embeddings (all tracks, played tracks, skipped tracks). Context was represented via categorical variables such as day of week, time of day, device, etc.
Эмбеддинги музыкальных треков (40-мерные векторы) обучались с помощью word2vec. Затем эмбеддинги треков усреднялись для создания трёх эмбеддингов сессии (все треки, прослушанные треки, пропущенные треки). Контекст представлялся категориальными переменными: день недели, время суток, устройство и т. д.
They used an RNN-based architecture to jointly learn from historical sequences and context. The key was to fuse the context-dependent user embeddings and long-term user embeddings using attention weights.
Они использовали архитектуру на основе RNN для совместного обучения на исторических последовательностях и контексте. Ключевым было слияние контекстно-зависимых пользовательских эмбеддингов и долгосрочных пользовательских эмбеддингов с использованием весов внимания.
Pan Li from New York University shared how Alibaba’s Youku introduces freshness and unexpectedness into video recommendations. He distinguished between two kinds of unexpectedness:
Pan Li из Нью-Йоркского университета рассказал, как Youku от Alibaba внедряет свежесть и неожиданность в рекомендации видео. Он выделил два вида неожиданности:
Персонализированная: некоторые пользователи ищут разнообразие и поэтому более открыты к новым видео Сессионная: если пользователь досмотрел первый эпизод сериала, лучше рекомендовать следующий эпизод. Если пользователь запоем просмотрел несколько эпизодов, лучше рекомендовать что-то другое.
Their final utility function combines relevancy (i.e., CTR) and unexpectedness. The proportion of unexpectedness is tuned to ensure that CTR is kept at a certain threshold while introducing unexpectedness.
Их итоговая функция полезности объединяет релевантность (то есть CTR) и неожиданность. Доля неожиданности настраивается так, чтобы CTR оставался на определённом пороге при одновременном внесении неожиданности.
Two separate models were implemented, one for relevancy and one for unexpectedness.
Были реализованы две отдельные модели: одна для релевантности, другая для неожиданности.
Results from an A/B test showed an increase in number of videos viewed by each user (3.74%), time spent on platform (4.63%), and CTR (0.80%) while also increasing unexpectedness by 9.74%.
Результаты A/B-теста показали увеличение числа просмотренных видео на пользователя (3,74%), времени на платформе (4,63%) и CTR (0,80%), а также рост неожиданности на 9,74%.
Benjamin Chamberlain from Twitter shared how it’s a bad idea to use default parameters for Word2vec-based recommendations. They quantified the extent of this with experiments on hyperparameter tuning and evaluated on recall@10 and nDCG@10.
Benjamin Chamberlain из Twitter рассказал о том, что использовать параметры по умолчанию для рекомендаций на основе Word2vec — плохая идея. Они количественно оценили это с помощью экспериментов по подбору гиперпараметров и оценки по recall@10 и nDCG@10.
Under constrained optimization (i.e., considering limited resources), they got a 138% average improvement in recall (aka hit rate; results below). And by tuning on a 10% data sample, they achieved a 91% average improvement in recall. From these experiments, they increased follow rates from Twitter’s Who To Follow recommender by 15%.
При ограниченной оптимизации (то есть с учётом ограниченных ресурсов) они получили в среднем 138% улучшение recall (он же hit rate; результаты ниже). А при настройке на 10% выборке данных они достигли в среднем 91% улучшения recall. На основе этих экспериментов они увеличили показатель подписок рекомендательной системы Twitter «Who To Follow» на 15%.
Ehtsham Elahi from Netflix shared how to learn representations of recommendation slates. A slate is a row of recommendations, such as what you would see on the Netflix home screen. In recommendations, we’re often recommending and ranking slates of items instead of individual items.
Ehtsham Elahi из Netflix рассказал о том, как обучать представления рекомендательных подборок (slates). Подборка — это ряд рекомендаций, например то, что вы видите на главной странице Netflix. В рекомендациях мы часто рекомендуем и ранжируем подборки товаров, а не отдельные товары.
Recommendation slates on Netflix's home screen.
Рекомендательные подборки на главной странице Netflix.
They demonstrated a way to learn state embeddings by using the distribution of items making up the slate. This is done by summarizing the items in the slates using the mean and covariance matrix of the item embeddings.
Они продемонстрировали способ обучения эмбеддингов подборок с использованием распределения товаров, составляющих подборку. Это делается путём суммирования товаров в подборках с помощью среднего и ковариационной матрицы эмбеддингов товаров.
By incorporating slate embeddings, they improved on the winning submission for the RecSys 2019 challenge (predicting accommodations clicks in Trivago search results).
Включив эмбеддинги подборок, они превзошли лучшее решение конкурса RecSys 2019 (предсказание кликов по жилью в результатах поиска Trivago).
Ramanathan R from SBX Corporation shared their approach for building a reciprocal recommender system for a matchmaking app. Recommendations for matchmaking are challenging for the following reasons:
Ramanathan R из SBX Corporation рассказал об их подходе к созданию взаимной рекомендательной системы для приложения знакомств. Рекомендации для знакомств сложны по следующим причинам:
Успешный матч требует, чтобы обе стороны понравились друг другу; в рекомендациях товаров нужно моделировать лишь односторонние предпочтения После совпадения большинство пользователей перестают использовать приложение и таким образом исключают себя из пула кандидатов Набор данных очень разреженный, так как пользователи избирательны и имеют мало взаимодействий Слишком много неудачных рекомендаций может привести к высокому проценту отказов и оттоку пользователей
Data available from Tapple's matchmaking app.
Данные, доступные из приложения для знакомств Tapple.
To learn user embeddings, they used historical match data. If both users liked each other (i.e., match), this was assigned a positive label; if only one user liked (and the other user rejected or ignored), this was assigned a negative label. For new users, pseudo-embeddings were generated based on existing users with similar metadata (e.g., location, interests). These user embeddings were then used in candidate generation.
Для обучения пользовательских эмбеддингов они использовали исторические данные о совпадениях. Если оба пользователя понравились друг другу (то есть совпадение), этому присваивалась положительная метка; если только один пользователь проявил симпатию (а другой отклонил или проигнорировал), присваивалась отрицательная метка. Для новых пользователей генерировались псевдо-эмбеддинги на основе существующих пользователей с похожими метаданными (например, местоположение, интересы). Эти пользовательские эмбеддинги затем использовались при генерации кандидатов.
An interesting challenge was the mismatch between offline and online evaluation. This was due to some recommended users being inactive (e.g., previously matched or stopped using the app). Inactive users did not reciprocate the like, leading to no match/conversion. This was fixed by adding a re-ranking step to have a balance of relevant, new, and active users.
Интересной проблемой было расхождение между офлайн- и онлайн-оценкой. Это было связано с тем, что некоторые рекомендованные пользователи были неактивны (например, уже нашли пару или прекратили пользоваться приложением). Неактивные пользователи не отвечали взаимностью, что не приводило к совпадению/конверсии. Проблема была решена добавлением этапа переранжирования для обеспечения баланса релевантных, новых и активных пользователей.
RecSys2020 (22-26 Sep) gave a peek into recent ideas on recommenders from academia & industry.
Some takeaways:
• Emphasis on ethics & bias
• Offline evaluation is tricky
• Dot product > learned similarities
• Many examples of real-world recsys
More👇 https://t.co/XAOl8WsU3o
RecSys2020 (22–26 сент.) дал возможность заглянуть в последние идеи о рекомендательных системах из академии и индустрии.Некоторые выводы:• Акцент на этике и предвзятости• Офлайн-оценка — непростое дело• Скалярное произведение > обученных сходств• Множество примеров реальных рекомендательных системПодробнее👇 https://t.co/XAOl8WsU3o— Eugene Yan (@eugeneyan) 29 сентября 2020
Thanks to Yang Xinyi and Karl Higley for reading drafts of this.
Благодарности Yang Xinyi и Karl Higley за рецензирование черновиков.
Целеориентированные рекомендации команд для аналитиков SSE-PT: последовательные рекомендации через персонализированный Transformer Разработка рекомендательной системы для персонализированного обучения в Chegg Ранжирование по популярности на основе поведения в Amazon Video Человеческий взгляд на алгоритмическое сходство ❤️️ От лаборатории к продакшену: кейс сессионных рекомендаций в сфере товаров для дома ❤️ RecSeats: гибридная модель выбора на основе свёрточных нейронных сетей для рекомендации мест на площадках с бронированием Сравнение и рекомендация товаров с дополненной реальностью в магазине Рекомендация следующего видео: офлайн- и онлайн-оценка на YOUTV.de О неоднородных информационных потребностях в сфере работы: единая платформа для карьеры студентов Баланс релевантности и открытий для вдохновения клиентов в приложении IKEA ⭐️ Обучение сотрудничеству в многомодульных рекомендациях через мультиагентное обучение с подкреплением без коммуникации Исследование кластеризации бандитов для онлайн-рекомендательных систем Контекстные бандиты для просмотра на мобильных устройствах в крупномасштабных онлайн-рекомендациях Офлайн-контекстные многорукие бандиты для мобильных вмешательств в здоровье: кейс регуляции эмоций Создание взаимной рекомендательной системы с нуля: уроки одного из ведущих японских приложений для знакомств ⭐️
Обеспечение справедливости в групповых рекомендациях через чувствительную к рангу балансировку релевантности Устранение смещений датасета из симуляции: несмещённый симулятор для рекомендательных систем на основе обучения с подкреплением О выборке целевых объектов в офлайн-оценке рекомендательных систем ⭐️ Рекомендации как исследование графов Интерпретируемость нейронных сетей с помощью атрибуции: применение к предсказанию неявных сигналов Что BERT знает о книгах, фильмах и музыке? Исследование BERT для разговорных рекомендаций
Fairness, Filter Bubbles, and Ethical Concerns
Справедливость, фильтрующие пузыри и этические проблемы
Теоретическое моделирование итеративных свойств пользовательского открытия в рекомендательных системах на основе коллаборативной фильтрации Деконструкция фильтрующего пузыря: принятие решений пользователем и рекомендательные системы Глобальная и локальная дифференциальная приватность для коллаборативных бандитов К безопасности и устойчивости: проектирование локальных рекомендаций для постпандемического мира Пересмотр атак на рекомендательные системы на основе состязательного обучения Устранение смещений в рекомендациях «товар-к-товару» с помощью небольших аннотированных наборов данных
Метод анонимизации бизнес-метрик для публикации датасетов с неявной обратной связью Несмещённое обучение каузального эффекта рекомендаций Дважды робастная оценка метрик ранжирования с пост-кликовыми конверсиями Несмещённое предсказание кликов по рекламе для позиционно-зависимых рекламных систем Достаточно ли строго мы оцениваем? Бенчмарк рекомендаций для воспроизводимой оценки и справедливого сравнения ⭐️ Контрфактуальное обучение для рекомендательных систем
TAFA: автоэнкодер с двойным вниманием для контекстно-зависимых рекомендаций Подход оптимизации ранжирования для латентного линейного критикования в разговорных рекомендательных системах Обучение контентно-коллаборативных разделённых представлений для улучшения рекомендаций «Кому не нравятся динозавры?» Выявление и извлечение более богатых предпочтений для рекомендаций Нейронная коллаборативная фильтрация vs. матричная факторизация: пересмотр ⭐️ Запрос как контекст для рекомендаций «товар-к-товару» ❤️
PURS: персонализированная неожиданная рекомендательная система для повышения удовлетворённости пользователей ⭐️ Progressive Layered Extraction (PLE): новая модель многозадачного обучения (MTL) для персонализированных рекомендаций KRED: представление документов с учётом знаний для рекомендации новостей FISSA: объединение моделей сходства товаров с сетями самовнимания для последовательных рекомендаций Исследование мультимодальных признаков для рекомендаций видео на Globoplay Эмбеддинги с холодного старта: улучшение векторов для новых и редких товаров с помощью контентного вывода ⭐️ Использование оценок производительности для усиления ансамблей рекомендаций ⭐️ Каскадные гибридные бандиты: онлайн-обучение ранжированию для релевантности и разнообразия MultiRec: мультиреляционный подход для рекомендации уникальных товаров в аукционных системах ⭐️ Контекстные и последовательные пользовательские эмбеддинги для крупномасштабных музыкальных рекомендаций ⭐️ ImRec: обучение взаимных предпочтений с помощью изображений
If you found this useful, please cite this write-up as:
Если вы нашли это полезным, пожалуйста, цитируйте эту статью так:
Yan, Ziyou. (Sep 2020). RecSys 2020: Takeaways and Notable Papers. eugeneyan.com. https://eugeneyan.com/writing/recsys2020/.
Yan, Ziyou. (Sep 2020). RecSys 2020: Takeaways and Notable Papers. eugeneyan.com. https://eugeneyan.com/writing/recsys2020/.
or
или
@article{yan2020recsys,
title = {RecSys 2020: Takeaways and Notable Papers},
author = {Yan, Ziyou},
journal = {eugeneyan.com},
year = {2020},
month = {Sep},
url = {https://eugeneyan.com/writing/recsys2020/}
}
@article{yan2020recsys, title = {RecSys 2020: Takeaways and Notable Papers}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2020}, month = {Sep}, url = {https://eugeneyan.com/writing/recsys2020/} }
Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.
Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, рекомендательных системах, LLM и инженерии.