2023 Year in Review

eugeneyan

Начало Статьи Выступления Прототипы Обо мне

Итоги 2023 года

[ life ] · 8 мин. чтения

2023 год был спокойным — год небольших, но уверенных шагов. Никаких кардинальных перемен в образе жизни не произошло, и у меня было достаточно времени и энергии, чтобы исследовать новые интересы и сосредоточиться на обучении. Вот мой обзор 2023 года — цели, яркие моменты и статистика.

Прошлые годы: 2020, 2021, 2022

Цели

Для начала проверю, как обстоят дела с целями, которые я поставил себе в прошлом году:

Написать 26 постов 💪: Я написал 20 постов, сделал пять прототипов и выступил с двумя докладами. Мои статьи охватывали такие темы, как проектные механизмы, модерация контента, паттерны ML, эксперименты с LLM и паттерны LLM. Последние две были тепло приняты и получили тег 🔥 (>20 тыс. просмотров). Изучить что-то новое ✅: Хотя я многое узнал о поиске по работе, мне не хватало фундаментальных знаний. Отличный курс по поиску от Grant Ingersoll и Dan Tunkelang помог заполнить этот пробел. Я также глубоко погрузился в модерацию контента и очереди разметки для работы, а также провёл множество вечеров и выходных, экспериментируя с LLM. Поработать с карьерным коучем 💪: GPT-4 оказался эффективным помощником для рефлексии, рассмотрения различных точек зрения и планирования следующих шагов. Тем не менее, я задумываюсь, стоит ли всё-таки обратиться к живому карьерному коучу, и буду рад рекомендациям! Продвигать индустрию ✅: Думаю, мои статьи о LLM здесь помогли. Правда, мне пока не удалось убедить достаточно людей, что лексический поиск должен быть частью RAG. Научиться кататься на сноуборде ✅: На этой неделе мы с женой начали кататься на синих трассах! Читать художественную литературу ❌: Я был в основном поглощён потоком статей и достижений в области GenAI. Тем не менее, удалось выделить время на художественную литературу — в основном научную фантастику (Pandemic, Genome) и рассказы (Ted Chiang, Cixin Liu). Медитировать 60 минут ежедневно ❌: Я не выполнял полные 60 минут и перенаправил часть времени на физические упражнения и ведение дневника.

Хотелось бы найти больше времени на медитацию и чтение художественной литературы, но в этом году было непросто из-за объёма нового материала для изучения. Тем не менее, я доволен прогрессом по остальным целям. Помимо целей, было ещё несколько ярких моментов.

Изучение LLM

С качественным скачком, который принёс gpt-3.5-turbo, в начале 2023 года я стал уделять больше внимания языковому моделированию (LM). К счастью, у меня уже был некоторый опыт в этой области — ранее я применял модели LM в рекомендательных системах и экспериментировал с gpt-3 для простых задач суммаризации. Чтобы наверстать, я провёл ряд экспериментов и создал прототипы, чтобы понять сильные стороны и ограничения авторегрессионных LM. Среди прототипов были боты для Discord, интерфейсы для взаимодействия с LLM, копилот для Obsidian на основе лексического и эмбеддинг-поиска (RAG), а также дообучение классификатора галлюцинаций на данных из другого домена.

Это самообучение подготовило меня к успеху на внутренних хакатонах. Наш первый прототип под кодовым названием Dewey показал отличные результаты (привет моей замечательной напарнице Kelly N!). Это придало мне смелости попросить разрешения хотя бы один день в неделю работать над GenAI и, возможно, со временем перейти на половину рабочего времени. Эта просьба была принята лучше, чем я ожидал…

Переход на новую роль

С тех пор мои обязанности расширились и включают работу над GenAI-инициативами по всей организации. Это включает обучение как рядовых сотрудников, так и руководства, а также разработку подходов к надёжному и экономичному развёртыванию GenAI в масштабе. Мы организовали два продуктивных хакатона: два прототипа уже запущены, ещё два в разработке.

Тексты и выступления

Хотя я не достиг цели в 26 постов, я горжусь тем, что написал в этом году. Среди наиболее значимых работ:

Patterns for Building LLM-based Systems & Products More Design Patterns For Machine Learning Systems Content Moderation & Fraud Detection - Patterns in Industry Evaluation & Hallucination Detection for Abstractive Summaries

Большая часть моих текстов — побочный продукт работы по созданию ML-систем, и в свою очередь они помогают мне быть эффективнее в этой работе. Письмо помогает выявлять и заполнять пробелы в знаниях, оттачивать мышление и масштабировать обмен опытом. (Я узнал, что моё руководство читает мои статьи и твиты 😱)

Как обычно, писать было легче, когда я писал для конкретного человека (а не для абстрактной широкой аудитории). Вот примеры текстов и их целевой читатель:

Зависимые команды и Подбор паттернов LLM — для менти Гайды по разметке и Attention и Transformers — для продакт-менеджеров Проектные механизмы и Командные механизмы — для технических руководителей Паттерны LLM и Оценка суммаризации — для топ-менеджмента

Мне также посчастливилось выступить на первом AI Engineer Summit. Энергия была вдохновляющей (мой отчёт здесь), и я получил возможность познакомиться и поддерживать связь с несколькими практиками, пока мы вместе разбираемся, как применять эту новую технологию в продакшене.

Кроме того, я выступил с приглашённым докладом на Amazon Machine Learning Conference. Я воспользовался возможностью рассказать об отличной работе нашей команды над сессионным поиском, контекстным ранжированием и экономичной инфраструктурой по запросу. (Ранее я представлял публичную версию в качестве кейноута на RecSys 2022.)

Клуб чтения статей

Вместе с несколькими друзьями мы создали клуб чтения статей, чтобы изучать и обсуждать фундаментальные работы в области языкового моделирования. Уверен, что в группе мы узнали больше, чем каждый мог бы в одиночку, объединив наши знания, опыт и вопросы. Вот краткие аннотации к ранним статьям.

Ангельские инвестиции

Я сделал три ангельские инвестиции в стартапы в области ML и инструментов. Скорее всего, этот объём инвестиций сохранится и в будущем. Я также стал более избирательным и сосредоточился на стартапах, где могу принести наибольшую пользу — в основном в сфере данных и ML.

Здоровье

Небольшая проблема со здоровьем (связанная с тем, что легко появлялись синяки) заставила меня пересмотреть питание и физическую активность. Мы с женой стали тщательнее следить за рационом — снизили потребление насыщенных жиров и алкоголя. Мы продолжаем минимизировать сахар и переработанные продукты.

Кроме того, хотя я регулярно занимался силовыми тренировками, кардио оставалось на втором плане. Поэтому я стал заставлять себя бегать как минимум два раза в неделю. В напряжённые недели обхожусь 45-минутными быстрыми прогулками. Это улучшило мой пульс в покое и VO2 max.

Цели на 2024 год

Работа: Продолжать выпускать ML-системы, обслуживающие клиентов в масштабе. Параллельно создавать прототипы для тестирования новых технологий (например, компьютерное зрение). Делиться тем, чему научился. Тексты: Написать 6 качественных статей. Раньше я делал ставку на количество (писал раз в неделю), чтобы выработать привычку. Теперь, когда привычка устоялась, я буду уделять больше времени каждому тексту, особенно статьям, требующим серьёзного исследования или прототипирования. Здоровье: Минимизировать сахар, насыщенные жиры, алкоголь и переработанные продукты в рационе. Тренироваться пять дней в неделю, из них минимум два — кардио. 30 минут утренней практики благодарности и медитации. Путешествия: Выделить время на два отпуска (вероятно, Лас-Вегас и Аляска). Сноуборд: К концу года начать кататься на чёрных трассах. Изучить что-то новое: Предварительно — синтетические данные для дообучения, дистилляция моделей для снижения затрат на инференс, и рекомендательные системы для холодного старта и рекламы.

Формулировка миссии (v5)

Я написал свою первую формулировку миссии в 2013 году и пересматриваю её примерно раз в год. Вот актуальная версия, написанная в самолёте на обратном пути из Сан-Франциско после особенно вдохновляющей и заряжающей энергией недели. Забавный факт: она началась как твит и умещается в 280 символов.

• Работай усердно • Продолжай учиться • Цени близких • Находи людей, которые тебя вдохновляют • Будь добрым и скромным • Ешь здоровую пищу, тренируйся, высыпайся • Читай и пиши • Практикуй благодарность и медитируй • Будь в моменте • Наслаждайся едой и природой • Не переживай из-за мелочей • Улыбайся

Статистика за 2023 год

Вот облако слов моих текстов за 2023 год. Основные темы (user, data, model) остались прежними, но фокус на LLM — это новое. (Облако слов за предыдущий год здесь.)

Облако слов моих текстов за 2023 год

Сайт посетили 259 тыс. уникальных пользователей в 2023 году — рост на 21% по сравнению с 2022 годом.

Количество уникальных посетителей в 2023 году

Основные каналы привлечения — прямые заходы, органический поиск и органические соцсети. США — крупнейший источник трафика с большим отрывом (и, похоже, моя аудитория в Сингапуре сокращается 😢).

Каналы и география читателей в 2023 году

Самые популярные страницы в 2023 году — в основном обзорные материалы о паттернах и проектировании систем. Старые, но проверенные временем статьи продолжают входить в топ-10, включая: (i) проектирование рекомендательных систем, (ii) документация «зачем, что, как» и (iii) поиск в реальном времени.

Топ-10 самых посещаемых страниц в 2023 году

Клики из поиска Google практически не изменились — 77,6 тыс., однако показы выросли с 2,14 млн до 2,71 млн (+27%). В результате средний CTR снизился с 3,6% до 2,9% (-19%).

Трафик из поиска Google в 2023 году

Разные метрики соцсетей

Email: число подписчиков выросло с 4,2 тыс. до 6,2 тыс.; open rate — 55,7%, click rate — 6,8%. Twitter: число подписчиков выросло с 9,5 тыс. до 15,8 тыс. LinkedIn: число подписчиков выросло с 27,1 тыс. до 32,7 тыс.

Рост числа email-подписчиков в 2023 году

Если этот материал оказался полезен, пожалуйста, цитируйте его следующим образом:

Yan, Ziyou. (Dec 2023). 2023 Year in Review. eugeneyan.com. https://eugeneyan.com/writing/2023-review/.

или

@article{yan20232023-review, title = {2023 Year in Review}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2023}, month = {Dec}, url = {https://eugeneyan.com/writing/2023-review/} }

Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, рекомендательных системах, LLM и инженерии.