Better Bayesian Filtering
В январе 2003 года Пол Грэм представил доклад на Spam Conference об улучшении байесовского спам-фильтра, описанного в эссе «A Plan for Spam». Он отмечает, что первые работы по байесовской фильтрации п
В январе 2003 года Пол Грэм представил доклад на Spam Conference об улучшении байесовского спам-фильтра, описанного в эссе «A Plan for Spam». Он отмечает, что первые работы по байесовской фильтрации п
Статья объясняет, как машинное обучение (supervised и unsupervised), обработка естественного языка (NLP) и предиктивная аналитика трансформируют процесс обогащения данных для GTM-команд. AI-решения ав
«AI Canon» — кураторская подборка ресурсов от венчурного фонда a16z, помогающая разобраться в современном ИИ: статьи, блог-посты, курсы и руководства, оказавшие наибольшее влияние на область за послед
Юджин Ян делает обзор того, как генерировать и использовать синтетические данные для дообучения языковых моделей. Существуют два основных подхода: дистилляция знаний из более сильной модели-учителя и
Юджин Ян разбирает пуш-уведомления как разновидность рекомендательной системы, где в отличие от поиска и обычных рекомендаций намерение пользователя неизвестно, а форма уведомления важна не меньше сам
Статья описывает метод улучшения детекции галлюцинаций (фактических несоответствий) в текстовых резюме с помощью дофайнтюнинга на данных из другого домена. Автор использует модель BART, дофайнтюненную
Юджин Ян даёт интуитивное объяснение механизма внимания (attention) и архитектуры Transformer для тех, кто уже прочитал статью «Attention Is All You Need» и в общих чертах знаком с темой. Автор показы
Юджин Ян рассказывает, как писать руководства по разметке/аннотированию данных — задача, которая на практике оказывается сложнее, чем просто инструкция. Хорошее руководство должно отвечать на пять воп
Eugene Yan (Ziyou Yan) рассказывает о своём кейноуте на воркшопе ORSUM в рамках RecSys 2022, посвящённом онлайн-рекомендательным системам. Главный вопрос доклада — «стоит ли овчинка выделки»: когда он
Эссе разбирает парадокс: простота — это преимущество, но сложность лучше «продаётся». Автор объясняет, почему сложные решения воспринимаются как признак усилий, мастерства, инноваций и гибкости, тогда
Статья Eugene Yan разбирает применение многоруких бандитов в рекомендательных системах: они полезны, когда данных мало, а неопределённость о предпочтениях пользователей высока, либо когда набор объект
Андрей Карпаты воспроизводит легендарную статью Янна ЛеКуна и соавторов 1989 года о применении обратного распространения ошибки к распознаванию рукописных почтовых индексов. Оригинальная сеть на 9760
Статья Eugene Yan о том, как продолжать учиться в быстро развивающейся области machine learning. Автор предлагает пять практических стратегий: пробовать новые инструменты в каждом проекте, делать личн
Юджин Ян (Eugene Yan) рассказывает о своём участии в подкасте Daliana «The Data Scientist Show», где почти за 2 часа они обсудили самые разные темы из области data science и ML. Среди затронутых вопро
Юджин Ян разбирает, как получать обучающие метки, когда размеченных данных нет, и рассматривает три подхода: полу-, активное и слабое обучение. Полуобучение генерирует псевдо-метки итеративно; активно
Читатель спрашивает, как в индустрии получают общее число релевантных документов для пар «запрос-документ», необходимое для расчёта метрики Recall@K (упоминаются работы Semantic Product Search от Amaz
Евгений Янь выступил на митапе SF Big Analytics в Сан-Франциско с докладом о проектировании систем рекомендаций и поиска. Публикация содержит запись выступления и слайды презентации. Доклад состоялся
Юджин Янь сравнивает применение машинного обучения в индустрии с «метаигрой» — игрой вокруг самой игры, где побеждают за счёт внешних знаний и факторов (примеры: камень-ножницы-бумага, StarCraft и син
Юджин Янь делится семью уроками из машинного обучения, применимыми к жизни. Очистка данных учит фильтровать пищу, контент и отношения; поиск опровергающих данных помогает обновлять убеждения и боротьс
Юджин Ян описывает, как установить библиотеку Google Scalable Nearest Neighbors (ScaNN) на Mac — инструмент для эффективного поиска по векторному сходству, который, по данным Google, более чем вдвое п
Разработчик K спрашивает, стоит ли применять машинное обучение для извлечения полей из PDF, если regex-скрипт ошибается примерно в 1 случае из 100 из-за опечаток в слове «Quote» или в самом номере кот
Юджин Ян кратко прослеживает эволюцию NLP для обучения с учителем с 1985 по 2020 год. Он начинает с последовательных моделей — RNN (1985), LSTM (1997) и GRU (2014), — а затем переходит к словным эмбед
Статья представляет заметки Eugene Yan с конференции Spark+AI Summit 2020, посвящённые прикладным докладам. Рассматриваются фреймворк Zipline от Airbnb для декларативного извлечения point-in-time приз
Практическое руководство Eugene Yan по поддержке ML-систем в продакшене, продолжающее его пост о шести малоизвестных проблемах после развёртывания. Автор предлагает около 20 практик, сгруппированных п