newsmode
search
Меню
arrow_back Назад
rss_feedEugene Yan ·31.12.2023 open_in_new

2023 Year in Review

#Learning In Public #LLM Engineering #Year In Review
auto_awesomeКраткое саммари

Eugene Yan подводит итоги 2023 года: он написал 20 статей (вместо запланированных 26), активно изучал LLM — от прототипов Discord-ботов и Obsidian-копилота до тонкой настройки классификаторов галлюцинаций. Успешный хакатон-прототип привёл к расширению его роли на GenAI-инициативы в организации. Сайт посетили 259 тыс. уникальных пользователей (+21% к 2022 году), число подписчиков email выросло с 4,2 до 6,2 тыс., а Twitter — с 9,5 до 15,8 тыс. На 2024 год он ставит цели по качеству текстов вместо количества, улучшению здоровья и освоению сноуборда на чёрных трассах.

translate EN + RU EN RU

eugeneyan

eugeneyan

  • Start Here
  • Writing
  • Speaking
  • Prototyping
  • About

    • Начало Статьи Выступления Прототипы Обо мне

    2023 Year in Review

    Итоги 2023 года

    [ life ] · 8 min read

    [ life ] · 8 мин. чтения

    2023 was a peaceful year of small, steady steps. There were no major lifestyle changes and I had the time and energy to explore new interests and focus on learning. Here’s my 2023 year in review, including goals, highlights, and statistics.

    2023 год был спокойным — год небольших, но уверенных шагов. Никаких кардинальных перемен в образе жизни не произошло, и у меня было достаточно времени и энергии, чтобы исследовать новые интересы и сосредоточиться на обучении. Вот мой обзор 2023 года — цели, яркие моменты и статистика.

    Past years: 2020, 2021, 2022

    Прошлые годы: 2020, 2021, 2022

    Goals

    Цели

    First, checking in on the goals I had set for myself last year:

    Для начала проверю, как обстоят дела с целями, которые я поставил себе в прошлом году:

  • Write 26 posts 💪: I wrote 20 posts, hacked on five prototypes, and gave two talks. My writing covered topics such as project mechanisms, content moderation, ML patterns, experiments with LLMs, and LLM patterns. The last two were well received and gained the 🔥 tag (>20k views).
  • Learn something new ✅: Though I learned a lot about Search on the job, I lacked the fundamentals. Grant Ingersoll and Dan Tunkelang’s excellent Search track helped to fill this gap. I also dove deep into content moderation and labeling queues for work, and spent many nights and weekends tinkering with LLMs.
  • Work with a career coach 💪: GPT-4 has been effective at helping me reflect and consider various perspectives, and suggesting next steps. That said, I wonder if I should still get a human career coach, and am open to recommendations!
  • Advance the industry ✅: I think my writing on LLMs has helped here. That said, I haven’t convinced enough people that lexical search should be part of RAG.
  • Learn to snowboard ✅: My wife and I started on the blue slopes this week!
  • Read fiction ❌: I was mostly occupied with the firehose of GenAI papers and advancements. Nonetheless, I was able to make time for some fiction, mostly sci-fi (Pandemic, Genome) and short stories (Ted Chiang, Cixin Liu).
  • Meditate 60 minutes daily ❌: I didn’t do the full 60 minutes and funneled some time towards exercise and journaling instead.

    • Написать 26 постов 💪: Я написал 20 постов, сделал пять прототипов и выступил с двумя докладами. Мои статьи охватывали такие темы, как проектные механизмы, модерация контента, паттерны ML, эксперименты с LLM и паттерны LLM. Последние две были тепло приняты и получили тег 🔥 (>20 тыс. просмотров). Изучить что-то новое ✅: Хотя я многое узнал о поиске по работе, мне не хватало фундаментальных знаний. Отличный курс по поиску от Grant Ingersoll и Dan Tunkelang помог заполнить этот пробел. Я также глубоко погрузился в модерацию контента и очереди разметки для работы, а также провёл множество вечеров и выходных, экспериментируя с LLM. Поработать с карьерным коучем 💪: GPT-4 оказался эффективным помощником для рефлексии, рассмотрения различных точек зрения и планирования следующих шагов. Тем не менее, я задумываюсь, стоит ли всё-таки обратиться к живому карьерному коучу, и буду рад рекомендациям! Продвигать индустрию ✅: Думаю, мои статьи о LLM здесь помогли. Правда, мне пока не удалось убедить достаточно людей, что лексический поиск должен быть частью RAG. Научиться кататься на сноуборде ✅: На этой неделе мы с женой начали кататься на синих трассах! Читать художественную литературу ❌: Я был в основном поглощён потоком статей и достижений в области GenAI. Тем не менее, удалось выделить время на художественную литературу — в основном научную фантастику (Pandemic, Genome) и рассказы (Ted Chiang, Cixin Liu). Медитировать 60 минут ежедневно ❌: Я не выполнял полные 60 минут и перенаправил часть времени на физические упражнения и ведение дневника.

    I wished I could have found more time to meditate and read fiction but it’s been tough this year with all the learning I’ve had to do. Nonetheless, I’m happy with the progress on the other goals. Beyond the goals, I also had a few other highlights.

    Хотелось бы найти больше времени на медитацию и чтение художественной литературы, но в этом году было непросто из-за объёма нового материала для изучения. Тем не менее, я доволен прогрессом по остальным целям. Помимо целей, было ещё несколько ярких моментов.

    Exploring LLMs

    Изучение LLM

    With the step-change improvement from gpt-3.5-turbo, I started paying more attention to language modeling (LM) at the start of 2023. Thankfully, I had some familiarity with the subject, having previously applied LM models to recommender systems and experimented with gpt-3 for simple summarizations. To catch up, I did some experimentation and prototyping to learn the strengths and limits of autoregressive LMs. These prototypes included Discord bots, UIs for interacting with LLMs, Obsidian copilot based on lexical and embedding-based RAG, and finetuning a hallucination classifier on out-of-domain data.

    С качественным скачком, который принёс gpt-3.5-turbo, в начале 2023 года я стал уделять больше внимания языковому моделированию (LM). К счастью, у меня уже был некоторый опыт в этой области — ранее я применял модели LM в рекомендательных системах и экспериментировал с gpt-3 для простых задач суммаризации. Чтобы наверстать, я провёл ряд экспериментов и создал прототипы, чтобы понять сильные стороны и ограничения авторегрессионных LM. Среди прототипов были боты для Discord, интерфейсы для взаимодействия с LLM, копилот для Obsidian на основе лексического и эмбеддинг-поиска (RAG), а также дообучение классификатора галлюцинаций на данных из другого домена.

    This self-learning set me up for success at internal hackathons. Our first prototype, codenamed Dewey, did well (shout out to my awesome partner-in-crime Kelly N!) This gave me the courage to ask if I could start working on GenAI at least one day per week, and perhaps eventually transition to half-time. This request went better than expected…

    Это самообучение подготовило меня к успеху на внутренних хакатонах. Наш первый прототип под кодовым названием Dewey показал отличные результаты (привет моей замечательной напарнице Kelly N!). Это придало мне смелости попросить разрешения хотя бы один день в неделю работать над GenAI и, возможно, со временем перейти на половину рабочего времени. Эта просьба была принята лучше, чем я ожидал…

    Transitioning to a new role

    Переход на новую роль

    Since then, my Charter has expanded to include working on GenAI initiatives across the org. This includes educating the working level and senior leadership, as well as figuring out how to deploy GenAI reliably and cost-effectively at scale. We’ve organized two fruitful hackathons: Two prototypes have been launched while two more are in progress.

    С тех пор мои обязанности расширились и включают работу над GenAI-инициативами по всей организации. Это включает обучение как рядовых сотрудников, так и руководства, а также разработку подходов к надёжному и экономичному развёртыванию GenAI в масштабе. Мы организовали два продуктивных хакатона: два прототипа уже запущены, ещё два в разработке.

    Writing and speaking

    Тексты и выступления

    Although I didn’t hit my goal of 26 posts, I’m proud of the writing I’ve done this year. Some pieces that have been impactful include:

    Хотя я не достиг цели в 26 постов, я горжусь тем, что написал в этом году. Среди наиболее значимых работ:

  • Patterns for Building LLM-based Systems & Products
  • More Design Patterns For Machine Learning Systems
  • Content Moderation & Fraud Detection - Patterns in Industry
  • Evaluation & Hallucination Detection for Abstractive Summaries

    • Patterns for Building LLM-based Systems & Products More Design Patterns For Machine Learning Systems Content Moderation & Fraud Detection - Patterns in Industry Evaluation & Hallucination Detection for Abstractive Summaries

    Much of my writing is a byproduct of my work building ML systems, and in return it contributes to me being more effective at the work. Writing helps identify and fill my knowledge gaps, refine my thinking, and scale my sharing. (I learned that my leadership reads my writing and tweets 😱)

    Большая часть моих текстов — побочный продукт работы по созданию ML-систем, и в свою очередь они помогают мне быть эффективнее в этой работе. Письмо помогает выявлять и заполнять пробелы в знаниях, оттачивать мышление и масштабировать обмен опытом. (Я узнал, что моё руководство читает мои статьи и твиты 😱)

    As usual, I found writing easier when I write with a specific person in mind (instead of a vague general audience). Some example pieces and their audience-of-one include:

    Как обычно, писать было легче, когда я писал для конкретного человека (а не для абстрактной широкой аудитории). Вот примеры текстов и их целевой читатель:

  • Dependency teams and Matching LLM patterns was written for mentees
  • Labeling guides and Attention & Transformers was written for PMs
  • Project mechanisms and Team mechanisms was written for tech managers
  • LLM patterns and Summarization evals was written for senior leaders

    • Зависимые команды и Подбор паттернов LLM — для менти Гайды по разметке и Attention и Transformers — для продакт-менеджеров Проектные механизмы и Командные механизмы — для технических руководителей Паттерны LLM и Оценка суммаризации — для топ-менеджмента

    I also had the opportunity to speak at the inaugural AI Engineer Summit. The energy was inspiring (my recap here) and I got the chance to connect and stay in touch with several practitioners as we figure out how to use this new technology in production.

    Мне также посчастливилось выступить на первом AI Engineer Summit. Энергия была вдохновляющей (мой отчёт здесь), и я получил возможность познакомиться и поддерживать связь с несколькими практиками, пока мы вместе разбираемся, как применять эту новую технологию в продакшене.

    In addition, I gave an invited keynote at the Amazon Machine Learning Conference. I took the chance to share the awesome work our team had done on session-based retrieval, contextual ranking, and cost-effective, just-in-time infrastructure. (I previously presented a public version at RecSys 2022 as a keynote too.)

    Кроме того, я выступил с приглашённым докладом на Amazon Machine Learning Conference. Я воспользовался возможностью рассказать об отличной работе нашей команды над сессионным поиском, контекстным ранжированием и экономичной инфраструктурой по запросу. (Ранее я представлял публичную версию в качестве кейноута на RecSys 2022.)

    Paper club

    Клуб чтения статей

    Together with a few friends, we started a paper club to read and discuss fundamental papers in the LM space. I believe we’ve learned more as a group than we could have individually, by pooling together our shared knowledge, experience, and questions. Here are one-sentence summaries for the earlier papers.

    Вместе с несколькими друзьями мы создали клуб чтения статей, чтобы изучать и обсуждать фундаментальные работы в области языкового моделирования. Уверен, что в группе мы узнали больше, чем каждый мог бы в одиночку, объединив наши знания, опыт и вопросы. Вот краткие аннотации к ранним статьям.

    Angel investments

    Ангельские инвестиции

    I made three angel investments in ML and tooling startups. This will likely be the volume of investments going forward. I’ve also become more selective, focusing on startups where I can provide the most value, mostly in the field of data and ML.

    Я сделал три ангельские инвестиции в стартапы в области ML и инструментов. Скорее всего, этот объём инвестиций сохранится и в будущем. Я также стал более избирательным и сосредоточился на стартапах, где могу принести наибольшую пользу — в основном в сфере данных и ML.

    Health

    Здоровье

    I had a minor health scare (that involved bruising easily) that prompted me to reexamine my diet and exercise. My wife and I paid more scrutiny to our nutrition, such as reducing saturated fat and alcohol. We continued to keep sugar and processed food to a minimum.

    Небольшая проблема со здоровьем (связанная с тем, что легко появлялись синяки) заставила меня пересмотреть питание и физическую активность. Мы с женой стали тщательнее следить за рационом — снизили потребление насыщенных жиров и алкоголя. Мы продолжаем минимизировать сахар и переработанные продукты.

    Also, while I’ve been consistent with weight training, I’ve been neglecting cardio. Thus, I started forcing myself to jog at least twice a week. On challenging weeks, I make do with 45-minute brisk walks. This has improved my resting heart rate and VO2 max.

    Кроме того, хотя я регулярно занимался силовыми тренировками, кардио оставалось на втором плане. Поэтому я стал заставлять себя бегать как минимум два раза в неделю. В напряжённые недели обхожусь 45-минутными быстрыми прогулками. Это улучшило мой пульс в покое и VO2 max.

    Goals for 2024

    Цели на 2024 год

  • Work: Continue shipping ML systems that serve customers at scale. Prototype on the side to test new tech (e.g., vision). Teach what I’ve learned.
  • Writing: Write 6 good pieces. I previously focused on quantity (writing once a week) to build the habit. Now that it’s stable, I’ll invest more time into each piece, especially writes-ups that require more research or prototyping.
  • Health: Minimize sugar, saturated fat, alcohol, and processed food in my diet. Exercise five days a week, with at least two days of cardio. 30 minutes of gratitude journaling and meditation first thing in the morning.
  • Travel: Make time for two vacations (likely Las Vegas and Alaska).
  • Snowboarding: Aiming to start hitting the black slopes by the end of the year.
  • Learn something new: Tentatively synthetic data for finetuning, model distilation to reduce serving costs, and cold-start/ad-based recsys.

    • Работа: Продолжать выпускать ML-системы, обслуживающие клиентов в масштабе. Параллельно создавать прототипы для тестирования новых технологий (например, компьютерное зрение). Делиться тем, чему научился. Тексты: Написать 6 качественных статей. Раньше я делал ставку на количество (писал раз в неделю), чтобы выработать привычку. Теперь, когда привычка устоялась, я буду уделять больше времени каждому тексту, особенно статьям, требующим серьёзного исследования или прототипирования. Здоровье: Минимизировать сахар, насыщенные жиры, алкоголь и переработанные продукты в рационе. Тренироваться пять дней в неделю, из них минимум два — кардио. 30 минут утренней практики благодарности и медитации. Путешествия: Выделить время на два отпуска (вероятно, Лас-Вегас и Аляска). Сноуборд: К концу года начать кататься на чёрных трассах. Изучить что-то новое: Предварительно — синтетические данные для дообучения, дистилляция моделей для снижения затрат на инференс, и рекомендательные системы для холодного старта и рекламы.

    Mission statement (v5)

    Формулировка миссии (v5)

    I wrote my first mission statement in 2013 and have been revising it every year or so. Here’s the latest iteration, written while on the flight back from SF after a particularly inspiring and energizing week. Fun fact: It started as a tweet and fits in 280 chars.

    Я написал свою первую формулировку миссии в 2013 году и пересматриваю её примерно раз в год. Вот актуальная версия, написанная в самолёте на обратном пути из Сан-Франциско после особенно вдохновляющей и заряжающей энергией недели. Забавный факт: она началась как твит и умещается в 280 символов.

    • Work hard • Keep learning • Cherish loved ones • Find people who inspire you • Be kind & egoless • Eat healthy, exercise, sleep well • Read & write • Practice gratitude & meditate • Be present • Enjoy food & nature • Don’t sweat the small stuff • Smile

    • Работай усердно • Продолжай учиться • Цени близких • Находи людей, которые тебя вдохновляют • Будь добрым и скромным • Ешь здоровую пищу, тренируйся, высыпайся • Читай и пиши • Практикуй благодарность и медитируй • Будь в моменте • Наслаждайся едой и природой • Не переживай из-за мелочей • Улыбайся

    Statistics for 2023

    Статистика за 2023 год

    Here’s a word cloud of my writing in 2023. The top themes (user, data, model) have been consistent though the focus on LLMs is new. (Word cloud from a previous year here.)

    Вот облако слов моих текстов за 2023 год. Основные темы (user, data, model) остались прежними, но фокус на LLM — это новое. (Облако слов за предыдущий год здесь.)

    Word cloud of my writing in 2023

    Облако слов моих текстов за 2023 год

    This site saw 259k unique visitors in 2023, an increase of 21% from 2022.

    Сайт посетили 259 тыс. уникальных пользователей в 2023 году — рост на 21% по сравнению с 2022 годом.

    Number of unique visitors in 2023

    Количество уникальных посетителей в 2023 году

    The incoming channels were mostly direct, organic search, and organic social. The US is the largest source by far (and it looks like my audience in Singapore is tapering 😢).

    Основные каналы привлечения — прямые заходы, органический поиск и органические соцсети. США — крупнейший источник трафика с большим отрывом (и, похоже, моя аудитория в Сингапуре сокращается 😢).

    Channel and geography of readers in 2023

    Каналы и география читателей в 2023 году

    The top pages in 2023 were mostly broader pieces on patterns and system design. Old but gold pieces continue to be in the top 10, including: (i) recsys system design, (ii) writing why what how, and (iii) real-time retrieval.

    Самые популярные страницы в 2023 году — в основном обзорные материалы о паттернах и проектировании систем. Старые, но проверенные временем статьи продолжают входить в топ-10, включая: (i) проектирование рекомендательных систем, (ii) документация «зачем, что, как» и (iii) поиск в реальном времени.

    Top 10 most visited pages in 2023

    Топ-10 самых посещаемых страниц в 2023 году

    Clicks via Google search was mostly flat at 77.6k, though impressions increased from 2.14M to 2.71M (+27%). As a result, average CTR dropped from 3.6% to 2.9% (-19%).

    Клики из поиска Google практически не изменились — 77,6 тыс., однако показы выросли с 2,14 млн до 2,71 млн (+27%). В результате средний CTR снизился с 3,6% до 2,9% (-19%).

    Google search traffic in 2023

    Трафик из поиска Google в 2023 году

    Miscellaneous social metrics

    Разные метрики соцсетей

  • Email: Subscriber count grew from 4.2k to 6.2k; 55.7% open rate, 6.8% click rate.
  • Twitter: Follower count grew from 9.5k to 15.8k
  • LinkedIn: Follower count grew from 27.1k to 32.7k

    • Email: число подписчиков выросло с 4,2 тыс. до 6,2 тыс.; open rate — 55,7%, click rate — 6,8%. Twitter: число подписчиков выросло с 9,5 тыс. до 15,8 тыс. LinkedIn: число подписчиков выросло с 27,1 тыс. до 32,7 тыс.

    Email subscriber growth in 2023

    Рост числа email-подписчиков в 2023 году

    If you found this useful, please cite this write-up as:

    Если этот материал оказался полезен, пожалуйста, цитируйте его следующим образом:

    Yan, Ziyou. (Dec 2023). 2023 Year in Review. eugeneyan.com. https://eugeneyan.com/writing/2023-review/.

    Yan, Ziyou. (Dec 2023). 2023 Year in Review. eugeneyan.com. https://eugeneyan.com/writing/2023-review/.

    or

    или

    @article{yan20232023-review, title = {2023 Year in Review}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2023}, month = {Dec}, url = {https://eugeneyan.com/writing/2023-review/} }

    @article{yan20232023-review, title = {2023 Year in Review}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2023}, month = {Dec}, url = {https://eugeneyan.com/writing/2023-review/} }

    Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.

    Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, рекомендательных системах, LLM и инженерии.