RecSys 2020: Takeaways and Notable Papers
Статья суммирует основные выводы и примечательные доклады конференции RecSys 2020 (22–26 сентября). В этом году усилился акцент на этике, предвзятости и справедливости рекомендательных систем, а среди популярных подходов к устранению смещений выделялось обратное взвешивание по склонности (inverse propensity scoring). Заметен сдвиг в сторону последовательных моделей (SASRec, BERT4Rec) и бандитских/RL-алгоритмов. Команда Google опровергла результаты оригинальной статьи о Neural Collaborative Filtering, показав, что простое скалярное произведение превосходит обученные MLP-сходства. Ряд работ продемонстрировал, что результаты офлайн-оценки рекомендаций сильно зависят от стратегии разбиения данных и выборки целевых объектов. Доклады Netflix, Etsy, Spotify, Alibaba, Twitter и других компаний показали, как рекомендательные системы работают в реальных продуктах — например, Etsy повысил CTR на 8–23%, а Alibaba увеличила время на платформе на 4,63%.
RecSys 2020: выводы и примечательные статьи
[ recsys deeplearning production survey ] · 16 мин. чтения
RecSys 2020 проходил с 22 по 26 сентября. Это была отличная возможность познакомиться с последними идеями о рекомендательных системах из академической среды и индустрии. Ниже — мои наблюдения и заметки о понравившихся статьях.
Акцент на этике и предвзятости; больше последовательных моделей и бандитов
В этом году заметно усилился акцент на этике и предвзятости. Ключевой доклад первого дня — «4 причины, почему социальные сети делают нас уязвимыми к манипуляциям» (Видео), а второго дня — «Предвзятость в поисковых и рекомендательных системах» (Слайды).
Две (из девяти) секции были посвящены темам «Справедливость, фильтрующие пузыри и этические проблемы» и «Несмещённые рекомендации и оценка», где обсуждались такие статьи, как:
Деконструкция фильтрующего пузыря: принятие решений пользователем и рекомендательные системы Устранение смещений в рекомендациях «товар-к-товару» с помощью небольших аннотированных наборов данных Связь между смещением популярности, калибровкой и справедливостью
Обратное взвешивание по склонности (Inverse propensity scoring) стало популярным подходом для устранения смещений в рекомендациях:
Несмещённое обучение каузального эффекта рекомендаций Дважды робастная оценка метрик ранжирования с пост-кликовыми конверсиями Несмещённое предсказание кликов по рекламе для позиционно-зависимых рекламных систем
Мы также наблюдали усиление сдвига в сторону последовательных моделей (с SASRec (2018) и BERT4Rec (2019) в качестве распространённых бенчмарков), а также бандитных алгоритмов и обучения с подкреплением для рекомендательных систем:
SSE-PT: последовательные рекомендации через персонализированный Transformer FISSA: объединение моделей сходства товаров с сетями самовнимания Контекстные бандиты для просмотра на мобильных устройствах в крупномасштабных онлайн-рекомендациях Обучение сотрудничеству через мультиагентное обучение с подкреплением
Примечательное: офлайн-оценка, MF > MLP, приложения
Несколько статей по офлайн-оценке подчеркнули нюансы и сложности оценки рекомендательных систем в офлайн-режиме и предложили улучшения процесса. Кроме того, Netflix представил отличный доклад о результатах комплексного пользовательского исследования.
Также состоялся (спорный?) доклад Google, опровергающий выводы предыдущей статьи, в которой обученные сходства через многослойные перцептроны превосходили простое скалярное произведение.
Разумеется, мне также понравились многочисленные статьи о том, как организации создают и разворачивают рекомендательные системы в реальных условиях (ещё здесь).
Пользовательские исследования нюансов рекомендаций
Zach Schendel из Netflix рассказал о сложности рекомендаций и результатах пользовательских исследований. Существуют три источника сложности рекомендаций:
Расположение: Где именно в интерфейсе находится рекомендация? Пользователь: Кто видит рекомендацию? Каков его прошлый опыт взаимодействия с данным расположением рекомендаций? Контекст: Что происходит в данный момент? Каковы потребности пользователя?
Netflix обнаружил, что у пользователей разные ожидания в зависимости от расположения рекомендаций. Например, пользователи предъявляют более высокие требования к сходству при рекомендации 1:1 (например, после завершения сериала Netflix рекомендует одно следующее название). Такие рекомендации рискованны, поскольку запасных вариантов нет, и нет других рекомендаций, которые помогли бы пользователю понять логику сходства.
Напротив, у пользователей более низкие ожидания при рекомендациях 1:много (например, набор рекомендаций), как при обычном просмотре. В примере ниже «Queer Eye» может показаться далёким от «Million Dollar Beach House». Но в контексте остальных рекомендаций в наборе это вписывается в общую тему реалити-шоу.
Они также обнаружили, что у пользователей более высокие ожидания от рекомендаций, полученных в результате явных действий (например, поиска). В целом, чем больше усилий пользователя (например, поиск, клик), тем выше его ожидания. Сравните это с рекомендациями, требующими меньших усилий, — например, на главной странице или в подборках при свободном просмотре.
Эти два вывода указывают на то, что универсального подхода к рекомендациям не существует. Рекомендательные модели, разработанные для главной страницы или email (низкие усилия пользователя), могут не работать так же на странице товара или странице поиска. Кроме того, рекомендации 1:1 и 1:много следует строить и оценивать по-разному.
Netflix также подчеркнул важность понимания контекста пользователей. После завершения реалити-шоу пользователи, скорее всего, посмотрят ещё одно реалити-шоу, верно? Не обязательно. Netflix обнаружил, что последовательный просмотр реалити-шоу происходил лишь в 18% случаев.
Существует множество ситуаций, когда сходство не требуется или даже может ухудшить рекомендации. Например, пользователь может захотеть сменить темп или настроение после только что просмотренного фильма ужасов. Также важно понимать: предпочитает ли пользователь определённый жанр (например, корейские дорамы) или переключается между разными жанрами? Более глубокое понимание поможет улучшить пользовательский опыт.
К более надёжной офлайн-оценке и воспроизводимости исследований
Pablo Castells из Автономного университета Мадрида рассказал о том, как различные подходы к выборке целевых объектов влияют на офлайн-оценку. Существуют три способа формирования валидационных целей: без неоценённых данных, со всеми неоценёнными данными и промежуточный вариант.
Три способа формирования целевых объектов для валидационного набора.
Относительная производительность рекомендательных моделей может различаться в зависимости от того, как был создан валидационный набор. Вот пример ниже. Слева (с неоценёнными данными) набор рекомендаций A превосходит набор рекомендаций B. Но справа (без неоценённых данных) набор рекомендаций B оказывается лучше.
Относительная производительность моделей различается при учёте всех неоценённых данных и без них.
Они также провели несколько экспериментов на наборе данных MovieLens 1M и продемонстрировали, что относительная производительность по precision@10 различается с неоценёнными данными и без них.
Относительная производительность рекомендательных моделей различается с неоценёнными данными и без них.
Аналогично, Zaiqiao Meng из Университета Глазго показал, как различные стратегии разбиения данных (для обучения и валидации) могут влиять на относительную производительность рекомендательных систем при офлайн-оценке. Сначала они описали четыре основные стратегии разбиения данных:
Leave-one-last: оставить один последний товар, оставить одну последнюю корзину/сессию Временное разбиение: временное разбиение внутри каждого пользователя, временное разбиение (по одной дате) глобально Случайное: для каждого пользователя разделить взаимодействия на обучающую и тестовую выборки По пользователям: часть пользователей в обучающую выборку, остальных — в тестовую
Затем, используя три наиболее популярные стратегии разбиения (а именно: leave one last item, leave one last basket и глобальное временное разбиение), они провели эксперименты на наборах данных Ta Feng и Dunnhumby. Относительная производительность рекомендательных моделей часто менялась в зависимости от стратегии разбиения (на что указывают перестановки рангов).
Они также обнаружили, что определённые модели показывают лучшие результаты при разных стратегиях разбиения: Triple2vec лучше работает при leave one last item, тогда как VBCAR показывает лучшие результаты при временной оценке.
Zhu Sun из Университета Маккуори проанализировал 85 статей о top-N рекомендациях на основе неявной обратной связи, опубликованных за последние три года. Их работа дала хороший обзор различных факторов, которые могут влиять на рекомендательные системы: предобработка данных (и какие данные исключаются), целевые функции, негативная выборка, стратегии разбиения данных и метрики оценки.
Среди 85 статей были обнаружены несоответствия по следующим аспектам:
Фильтрация данных: в некоторых исследованиях исключались пользователи и товары с менее чем 5 оценками, в других порог составлял 10. Валидация: одни использовали leave-one-out, другие — разбиение по пропорции. (Они также обнаружили, что 37% статей подбирали гиперпараметры на тестовом наборе!) Негативная выборка: подходы включали равномерную выборку, выборку с низкой популярностью и выборку с высокой популярностью.
Неудивительно, что относительная производительность различных моделей менялась при разных комбинациях предобработки, негативной выборки, метрик оценки и т. д.
Pigi Kouki из Relational AI выделила один ключевой недостаток офлайн-метрик оценки: они штрафуют модель, если она не предсказывает тот же самый продукт (то есть идентичный ID продукта). Таким образом, почти идентичные товары, которые человек мог бы счесть релевантными, не засчитываются как попадания. Затем она рассказала об их двухэтапном процессе офлайн-оценки при создании рекомендательной системы.
Сначала они обучили 15 моделей и отобрали пять лучших по результатам офлайн-оценки:
SR-GNN: лучший hit rate, mean reciprocal rank и nDCG V-STAN: лучшие precision, recall и mean average precision V-SKNN, GRU4Rec: лучшие coverage и popularity STAMP: удовлетворительные результаты по всем метрикам
На втором этапе эксперты-люди оценивали рекомендации пяти моделей. 10 экспертов оценивали модели по трём категориям в области товаров для дома. Экспертам были доступны название, описание, изображение и ссылки на продукт. Они могли оценить рекомендацию как объективно релевантную 👍, субъективно релевантную ✅ или нерелевантную 👎.
Рекомендации оценивались как объективно релевантные 👍, субъективно релевантные ✅ или нерелевантные 👎.
В отличие от офлайн-метрик, эксперты-люди оценили рекомендации GRU4Rec как весьма релевантные. Однако, поскольку его рекомендации не совпадали с ID продуктов, добавленных в корзину, GRU4Rec показал худшие результаты по офлайн-метрикам оценки.
STAMP и GRU4Rec показали лучшие результаты на втором этапе, и STAMP был запущен в A/B-тест. Это привело к увеличению CTR на 15,6% и росту дохода на сессию на 18,5%.
В целом эти статьи заставили меня переосмыслить свой процесс экспериментирования и офлайн-оценки. Более того, офлайн-оценка интерактивных систем машинного обучения (например, рекомендаций, поиска) сложна, поскольку мы не можем наблюдать, как изменится поведение пользователей.
Сравнение простого скалярного произведения с обученными сходствами
Walid Krichene из Google пересмотрел (и опроверг) выводы статьи о нейронной коллаборативной фильтрации (NCF; 2017) в своём докладе Neural Collaborative Filtering vs. Matrix Factorization Revisited.
В оригинальной статье о NCF предлагалось заменить скалярное произведение на многослойный перцептрон (MLP). Это основывалось на результатах экспериментов (где MLP был лучше) и свойстве универсальной аппроксимации.
Для новой статьи команда провела множество экспериментов на наборах данных MovieLens 1M и Pinterest. Они обнаружили, что скалярное произведение превосходит подходы с обученным сходством (MLP и нейронная матричная факторизация).
На вопрос об этом Walid предположил, что одна из возможных причин — лучший подбор гиперпараметров. Они обнаружили, что параметры матричной факторизации в оригинальной статье о NCF были недостаточно регуляризированы. Другой возможной причиной могло быть добавление явных смещений (biases), которые эмпирически показали улучшение производительности модели.
Статья также подчеркнула практические преимущества скалярного произведения: поиск может выполняться эффективно (линейная сложность против квадратичной для MLP). Скалярное произведение также не требует обучения. Таким образом, для большинства приложений скалярное произведение должно быть подходом по умолчанию.
(Примечание: в предыдущей статье Google также продемонстрировал, что MLP/нейронные сети прямого распространения неэффективны в захвате мультипликативных взаимодействий.)
Индустриальные приложения: контекст, неожиданность, интересные кейсы
Moumita Bhattacharya из Etsy рассказала о двух подходах к интеграции поискового запроса как контекста в их контентную рекомендательную систему (изображение ниже). Цель — включить намерение пользователя (то есть поисковый запрос) и сезонность в генерацию кандидатов.
Контентная рекомендательная система Etsy (без контекста).
Для первого подхода они извлекли топ-N запросов, связанных с каждым листингом, а затем обучили эмбеддинги для товаров и запросов. С помощью этих эмбеддингов кандидаты генерировались через приближённый поиск ближайших соседей. Однако этот подход сработал хуже, чем второй, более простой.
Первый подход Etsy к контекстной генерации кандидатов.
Вот их второй подход: для каждого поискового запроса пользователю показывается набор товаров (то есть результаты поиска) — это целевые товары. Затем для каждого целевого товара другие товары, с которыми пользователь взаимодействовал (в рамках той же поисковой сессии), становятся товарами-кандидатами. Таким образом, для каждой пары запрос-цель они получали набор кандидатов.
Второй подход Etsy к контекстной генерации кандидатов.
В сочетании с ранжированием (применяемым после генерации кандидатов) они улучшили recall на 12,42% в офлайн-оценке. В онлайн-оценке это увеличило CTR на 8–23% и конверсию на 0,25–1,16%.
Casper Hansen из Копенгагенского университета рассказал, как Spotify обучает предпочтения пользователей на основе истории сессий и текущего контекста. Конкретно: используя последовательность прошлых сессий и контекст (в начале каждой сессии), можно ли предсказать, какие треки будут воспроизведены в новой сессии и контексте?
Пользователи слушали музыку в различных контекстах (время, устройство).
Эмбеддинги музыкальных треков (40-мерные векторы) обучались с помощью word2vec. Затем эмбеддинги треков усреднялись для создания трёх эмбеддингов сессии (все треки, прослушанные треки, пропущенные треки). Контекст представлялся категориальными переменными: день недели, время суток, устройство и т. д.
Они использовали архитектуру на основе RNN для совместного обучения на исторических последовательностях и контексте. Ключевым было слияние контекстно-зависимых пользовательских эмбеддингов и долгосрочных пользовательских эмбеддингов с использованием весов внимания.
Pan Li из Нью-Йоркского университета рассказал, как Youku от Alibaba внедряет свежесть и неожиданность в рекомендации видео. Он выделил два вида неожиданности:
Персонализированная: некоторые пользователи ищут разнообразие и поэтому более открыты к новым видео Сессионная: если пользователь досмотрел первый эпизод сериала, лучше рекомендовать следующий эпизод. Если пользователь запоем просмотрел несколько эпизодов, лучше рекомендовать что-то другое.
Их итоговая функция полезности объединяет релевантность (то есть CTR) и неожиданность. Доля неожиданности настраивается так, чтобы CTR оставался на определённом пороге при одновременном внесении неожиданности.
Были реализованы две отдельные модели: одна для релевантности, другая для неожиданности.
Результаты A/B-теста показали увеличение числа просмотренных видео на пользователя (3,74%), времени на платформе (4,63%) и CTR (0,80%), а также рост неожиданности на 9,74%.
Benjamin Chamberlain из Twitter рассказал о том, что использовать параметры по умолчанию для рекомендаций на основе Word2vec — плохая идея. Они количественно оценили это с помощью экспериментов по подбору гиперпараметров и оценки по recall@10 и nDCG@10.
При ограниченной оптимизации (то есть с учётом ограниченных ресурсов) они получили в среднем 138% улучшение recall (он же hit rate; результаты ниже). А при настройке на 10% выборке данных они достигли в среднем 91% улучшения recall. На основе этих экспериментов они увеличили показатель подписок рекомендательной системы Twitter «Who To Follow» на 15%.
Ehtsham Elahi из Netflix рассказал о том, как обучать представления рекомендательных подборок (slates). Подборка — это ряд рекомендаций, например то, что вы видите на главной странице Netflix. В рекомендациях мы часто рекомендуем и ранжируем подборки товаров, а не отдельные товары.
Рекомендательные подборки на главной странице Netflix.
Они продемонстрировали способ обучения эмбеддингов подборок с использованием распределения товаров, составляющих подборку. Это делается путём суммирования товаров в подборках с помощью среднего и ковариационной матрицы эмбеддингов товаров.
Включив эмбеддинги подборок, они превзошли лучшее решение конкурса RecSys 2019 (предсказание кликов по жилью в результатах поиска Trivago).
Ramanathan R из SBX Corporation рассказал об их подходе к созданию взаимной рекомендательной системы для приложения знакомств. Рекомендации для знакомств сложны по следующим причинам:
Успешный матч требует, чтобы обе стороны понравились друг другу; в рекомендациях товаров нужно моделировать лишь односторонние предпочтения После совпадения большинство пользователей перестают использовать приложение и таким образом исключают себя из пула кандидатов Набор данных очень разреженный, так как пользователи избирательны и имеют мало взаимодействий Слишком много неудачных рекомендаций может привести к высокому проценту отказов и оттоку пользователей
Данные, доступные из приложения для знакомств Tapple.
Для обучения пользовательских эмбеддингов они использовали исторические данные о совпадениях. Если оба пользователя понравились друг другу (то есть совпадение), этому присваивалась положительная метка; если только один пользователь проявил симпатию (а другой отклонил или проигнорировал), присваивалась отрицательная метка. Для новых пользователей генерировались псевдо-эмбеддинги на основе существующих пользователей с похожими метаданными (например, местоположение, интересы). Эти пользовательские эмбеддинги затем использовались при генерации кандидатов.
Интересной проблемой было расхождение между офлайн- и онлайн-оценкой. Это было связано с тем, что некоторые рекомендованные пользователи были неактивны (например, уже нашли пару или прекратили пользоваться приложением). Неактивные пользователи не отвечали взаимностью, что не приводило к совпадению/конверсии. Проблема была решена добавлением этапа переранжирования для обеспечения баланса релевантных, новых и активных пользователей.
RecSys2020 (22–26 сент.) дал возможность заглянуть в последние идеи о рекомендательных системах из академии и индустрии.Некоторые выводы:• Акцент на этике и предвзятости• Офлайн-оценка — непростое дело• Скалярное произведение > обученных сходств• Множество примеров реальных рекомендательных системПодробнее👇 https://t.co/XAOl8WsU3o— Eugene Yan (@eugeneyan) 29 сентября 2020
Благодарности Yang Xinyi и Karl Higley за рецензирование черновиков.
Целеориентированные рекомендации команд для аналитиков SSE-PT: последовательные рекомендации через персонализированный Transformer Разработка рекомендательной системы для персонализированного обучения в Chegg Ранжирование по популярности на основе поведения в Amazon Video Человеческий взгляд на алгоритмическое сходство ❤️️ От лаборатории к продакшену: кейс сессионных рекомендаций в сфере товаров для дома ❤️ RecSeats: гибридная модель выбора на основе свёрточных нейронных сетей для рекомендации мест на площадках с бронированием Сравнение и рекомендация товаров с дополненной реальностью в магазине Рекомендация следующего видео: офлайн- и онлайн-оценка на YOUTV.de О неоднородных информационных потребностях в сфере работы: единая платформа для карьеры студентов Баланс релевантности и открытий для вдохновения клиентов в приложении IKEA ⭐️ Обучение сотрудничеству в многомодульных рекомендациях через мультиагентное обучение с подкреплением без коммуникации Исследование кластеризации бандитов для онлайн-рекомендательных систем Контекстные бандиты для просмотра на мобильных устройствах в крупномасштабных онлайн-рекомендациях Офлайн-контекстные многорукие бандиты для мобильных вмешательств в здоровье: кейс регуляции эмоций Создание взаимной рекомендательной системы с нуля: уроки одного из ведущих японских приложений для знакомств ⭐️
Обеспечение справедливости в групповых рекомендациях через чувствительную к рангу балансировку релевантности Устранение смещений датасета из симуляции: несмещённый симулятор для рекомендательных систем на основе обучения с подкреплением О выборке целевых объектов в офлайн-оценке рекомендательных систем ⭐️ Рекомендации как исследование графов Интерпретируемость нейронных сетей с помощью атрибуции: применение к предсказанию неявных сигналов Что BERT знает о книгах, фильмах и музыке? Исследование BERT для разговорных рекомендаций
Теоретическое моделирование итеративных свойств пользовательского открытия в рекомендательных системах на основе коллаборативной фильтрации Деконструкция фильтрующего пузыря: принятие решений пользователем и рекомендательные системы Глобальная и локальная дифференциальная приватность для коллаборативных бандитов К безопасности и устойчивости: проектирование локальных рекомендаций для постпандемического мира Пересмотр атак на рекомендательные системы на основе состязательного обучения Устранение смещений в рекомендациях «товар-к-товару» с помощью небольших аннотированных наборов данных
Метод анонимизации бизнес-метрик для публикации датасетов с неявной обратной связью Несмещённое обучение каузального эффекта рекомендаций Дважды робастная оценка метрик ранжирования с пост-кликовыми конверсиями Несмещённое предсказание кликов по рекламе для позиционно-зависимых рекламных систем Достаточно ли строго мы оцениваем? Бенчмарк рекомендаций для воспроизводимой оценки и справедливого сравнения ⭐️ Контрфактуальное обучение для рекомендательных систем
TAFA: автоэнкодер с двойным вниманием для контекстно-зависимых рекомендаций Подход оптимизации ранжирования для латентного линейного критикования в разговорных рекомендательных системах Обучение контентно-коллаборативных разделённых представлений для улучшения рекомендаций «Кому не нравятся динозавры?» Выявление и извлечение более богатых предпочтений для рекомендаций Нейронная коллаборативная фильтрация vs. матричная факторизация: пересмотр ⭐️ Запрос как контекст для рекомендаций «товар-к-товару» ❤️
PURS: персонализированная неожиданная рекомендательная система для повышения удовлетворённости пользователей ⭐️ Progressive Layered Extraction (PLE): новая модель многозадачного обучения (MTL) для персонализированных рекомендаций KRED: представление документов с учётом знаний для рекомендации новостей FISSA: объединение моделей сходства товаров с сетями самовнимания для последовательных рекомендаций Исследование мультимодальных признаков для рекомендаций видео на Globoplay Эмбеддинги с холодного старта: улучшение векторов для новых и редких товаров с помощью контентного вывода ⭐️ Использование оценок производительности для усиления ансамблей рекомендаций ⭐️ Каскадные гибридные бандиты: онлайн-обучение ранжированию для релевантности и разнообразия MultiRec: мультиреляционный подход для рекомендации уникальных товаров в аукционных системах ⭐️ Контекстные и последовательные пользовательские эмбеддинги для крупномасштабных музыкальных рекомендаций ⭐️ ImRec: обучение взаимных предпочтений с помощью изображений
Если вы нашли это полезным, пожалуйста, цитируйте эту статью так:
Yan, Ziyou. (Sep 2020). RecSys 2020: Takeaways and Notable Papers. eugeneyan.com. https://eugeneyan.com/writing/recsys2020/.
или
@article{yan2020recsys, title = {RecSys 2020: Takeaways and Notable Papers}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2020}, month = {Sep}, url = {https://eugeneyan.com/writing/recsys2020/} }
Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, рекомендательных системах, LLM и инженерии.