Towards Data Science - Author Spotlight with Eugene Yan

eugeneyan

eugeneyan

Начните здесь Статьи Выступления Прототипирование Обо мне

Towards Data Science - Author Spotlight with Eugene Yan

Towards Data Science — Author Spotlight с Eugene Yan

[ career writing datascience ] · 11 min read

[ career writing datascience ] · 11 мин чтения

I was recently interviewed by Towards Data Science as part of their Author Spotlight series. They had fun questions, some of which I’ve not writen about before, so I thought I would share it here too. Have more questions? Please post it on the AMA!

Недавно я дал интервью изданию Towards Data Science в рамках их серии Author Spotlight. У них были интересные вопросы, о некоторых из которых я раньше не писал, поэтому я решил поделиться этим и здесь. Есть ещё вопросы? Задавайте их на странице AMA!

• • •

• • •

You took a rather interesting career path into data science. From breaking into the field with a Psychology degree, to landing a “rocketship” role at Lazada, and now as an Applied Scientist at Amazon. Could you share a bit about how you found your way into the field?

Вы прошли довольно интересный карьерный путь в data science. От входа в профессию с дипломом по психологии до позиции в «ракетном» стартапе Lazada, а теперь — Applied Scientist в Amazon. Могли бы вы рассказать, как вы нашли свой путь в эту сферу?

I don’t recall starting with data science as a career goal. Back then, I was mostly interested in how people perceive, decide, and behave. That’s why I got into Psychology in the first place. My initial goal after graduation was to be an industrial and organizational psychologist, to help make people more productive and happy at work. Unfortunately, there’re weren’t any roles for fresh graduates (perhaps I wasn’t good enough, haha).

Не помню, чтобы я изначально ставил себе целью карьеру в data science. Тогда меня в основном интересовало то, как люди воспринимают мир, принимают решения и ведут себя. Именно поэтому я и пошёл в психологию. Моей первоначальной целью после выпуска было стать промышленно-организационным психологом — помогать людям быть более продуктивными и счастливыми на работе. К сожалению, для свежих выпускников таких вакансий не было (возможно, я был недостаточно хорош, ха-ха).

I eventually joined the Ministry of Trade and Industry where I focused on the investment side of things, trying to make it easier and safer for companies to invest overseas. It mostly involved negotiating investment and free trade agreements, analyzing legal text, studying arbitration cases. The travel was exciting but after a while, I missed working with data.

В итоге я устроился в Министерство торговли и промышленности, где занимался инвестиционной стороной дел — старался сделать так, чтобы компаниям было проще и безопаснее инвестировать за рубежом. Работа в основном состояла из переговоров по инвестиционным соглашениям и соглашениям о свободной торговле, анализа юридических текстов, изучения арбитражных дел. Командировки были увлекательными, но через какое-то время я начал скучать по работе с данными.

In my free time, I took online courses on statistics, SQL, and R. I also interviewed for entry-level data positions and eventually landed a job at IBM as a data analyst. In my first year, I mostly worked on analytics projects such as building supply chain dashboards and scraping and analyzing Twitter data for brands. After a year, I had the opportunity to join the workforce analytics team where I worked on job demand forecasting and building an internal job recommendation engine. The work was similar to my initial goal of using data to help people at work, it just took me longer to get here.

В свободное время я проходил онлайн-курсы по статистике, SQL и R. Также я ходил на собеседования на начальные позиции, связанные с данными, и в итоге получил работу аналитика данных в IBM. В первый год я в основном работал над аналитическими проектами — например, строил дашборды для цепочек поставок и собирал и анализировал данные Twitter для брендов. Через год у меня появилась возможность присоединиться к команде workforce analytics, где я занимался прогнозированием спроса на вакансии и созданием внутреннего движка рекомендаций вакансий. Эта работа была близка к моей первоначальной цели — использовать данные, чтобы помогать людям на работе, просто я шёл к ней дольше.

Nonetheless, another opportunity came to join an e-commerce startup (Lazada). I was curious how working in a startup would be like, after being in government and IBM, and leaped. I’ve written about how that happened and won’t rehash it here. (Lazada eventually got acquired by Alibaba, and after another stint in a health-tech startup, I joined Amazon.)

Тем не менее появилась ещё одна возможность — присоединиться к e-commerce-стартапу (Lazada). Мне было любопытно, каково это — работать в стартапе, после государственной службы и IBM, и я решился. Я уже писал о том, как это произошло, и не буду повторяться здесь. (Lazada в итоге купила Alibaba, и после ещё одного периода работы в health-tech-стартапе я пришёл в Amazon.)

What is your favorite project or a project you’re particularly proud of?

Какой ваш любимый проект или проект, которым вы особенно гордитесь?

My first self-learning project will always be my favorite. For that project, I used data scraped from Amazon to build an ML system to classify products—into thousands of categories—based on titles. The machine learning approach was Bayes-ic but it worked well (top-3 accuracy of 0.965). It eventually evolved to include image classification and image search. (Parts of it also got used at Lazada to help sellers categorize products.)

Мой первый самостоятельный учебный проект навсегда останется моим любимым. В рамках того проекта я использовал данные, собранные с Amazon, чтобы построить ML-систему для классификации товаров — по тысячам категорий — на основе их названий. Подход к машинному обучению был «Bayes-ic» (байесовский), но он работал хорошо (top-3 accuracy 0.965). Со временем он расширился до классификации изображений и поиска по изображениям. (Части этого проекта потом использовались и в Lazada, чтобы помогать продавцам категоризировать товары.)

I’m proud of that effort because when I started, I knew next to nothing about machine learning and programming and had to stretch (a lot) to get it working. To train and deploy the model, I had to learn how to work with AWS EC2, S3, and Route53. To serve my model, I had to learn how to wrap it in a Flask app, build a basic frontend with Bootstrap and HTML, and muck around with Nginx. For image classification and search, I had to learn how to apply deep learning for computer vision, as well as how to use pre-trained models (e.g., VGG, ResNet) for transfer learning.

Я горжусь этой работой, потому что, когда я начинал, я почти ничего не знал о машинном обучении и программировании, и мне пришлось (очень сильно) напрягаться, чтобы всё заработало. Чтобы обучить и развернуть модель, мне пришлось научиться работать с AWS EC2, S3 и Route53. Чтобы запустить модель в работу, мне пришлось научиться оборачивать её в приложение на Flask, собирать простой фронтенд на Bootstrap и HTML и возиться с Nginx. Для классификации и поиска изображений мне пришлось научиться применять глубокое обучение для компьютерного зрения, а также использовать предобученные модели (например, VGG, ResNet) для transfer learning.

I spent many weekends struggling with Python, Theano, HTML, AWS, etc. The tremendous effort I poured into the project probably explains why I’m so proud of it. What I learned from it turbocharged my learning, and the gains also spilled into my work productivity.

Я провёл много выходных, борясь с Python, Theano, HTML, AWS и так далее. Огромные усилия, которые я вложил в этот проект, наверное, и объясняют, почему я так им горжусь. То, что я узнал в процессе, резко ускорило моё обучение, а полученные навыки сказались и на продуктивности в работе.

Finding similar looking sofas with "dimples".

Поиск похожих по виду диванов с «ямочками».

You have written many articles across an eclectic range of topics, from what a data science portfolio shows, to maintaining models in production, and a series of guides to ML learning systems in industry. What is your process for writing and creating so prolifically?

Вы написали множество статей на самые разные темы — от того, что показывает портфолио в data science, до поддержки моделей в продакшене и серии руководств по ML-системам в индустрии. Каков ваш процесс письма и столь продуктивного создания контента?

I have a list of potential topics in my notes somewhere. Whenever inspiration for an article strikes, I add to it—it’s really just a list of titles. For example, a friend recently lamented about the difficulty of educating stakeholders about what machine learning can and cannot do—I thought it would be an interesting topic and added it to the list. I also get questions via my topic poll and AMA and chats with friends.

У меня где-то в заметках есть список потенциальных тем. Всякий раз, когда меня осеняет идея для статьи, я добавляю её туда — это, по сути, просто список заголовков. Например, недавно один друг жаловался на то, как трудно объяснять стейкхолдерам, что машинное обучение может и чего не может — я подумал, что это интересная тема, и добавил её в список. Я также получаю вопросы через свой опрос тем, AMA и из разговоров с друзьями.

Just jotting the title on that list makes me pay attention to it. And when I come across relevant material or references, I add them under those titles. Titles can stay on this list for months or years. Probably half of them won’t evolve into articles, because I might find that there’s nothing novel I can contribute to the discussion.

Сам факт записи заголовка в этот список заставляет меня обращать на него внимание. И когда мне попадается релевантный материал или ссылки, я добавляю их под этими заголовками. Заголовки могут оставаться в этом списке месяцами или годами. Вероятно, около половины из них так и не превратятся в статьи, потому что я могу обнаружить, что мне нечего нового добавить к обсуждению.

Once a week, I pick a title I’m most interested to explore. Early in the week, I write a basic outline of the piece, mostly using the Why, What, How structure (the other main form being listicles). The aim is to pour whatever comes to mind into that draft and not concern about language, content, sources, etc. This takes about one to two hours.

Раз в неделю я выбираю заголовок, который мне сейчас интереснее всего исследовать. В начале недели я пишу базовый план статьи, в основном используя структуру Why, What, How (другая основная форма — это списки-перечисления). Цель — выплеснуть в этот черновик всё, что приходит в голову, не заботясь о языке, содержании, источниках и прочем. На это уходит примерно час-два.

The next day, I scan the outline and try to rewrite it from memory. This forces me to reorganize the ideas. Sometimes, details or entire sections get left out—this suggests that they weren’t essential to the thesis. Nonetheless, I compare my previous and new outlines to make sure the new outline’s better, and I didn’t exclude anything important. I iterate on the outline once or twice—on separate days—taking one to two hours each. But if my thinking on that topic is especially muddy, I might need three or four iterations.

На следующий день я просматриваю план и пытаюсь переписать его по памяти. Это заставляет меня переорганизовать идеи. Иногда какие-то детали или целые разделы выпадают — это говорит о том, что они не были существенны для основной мысли. Тем не менее я сравниваю прежний и новый планы, чтобы убедиться, что новый лучше и что я не упустил ничего важного. Я дорабатываю план один-два раза — в разные дни — тратя по часу-два на каждую итерацию. Но если мои мысли по этой теме особенно сумбурны, мне может понадобиться три-четыре итерации.

Regardless of what state the outline is in, I start converting my outline into prose on Saturday morning. By this time, the outline’s fairly detailed and it’s a matter of rewriting bullet points into sentences and paragraphs. This takes anywhere from five to fifteen hours. Once that’s done, I edit it once for grammar and spelling, and another time for readability. I always ship by Sunday night.

В каком бы состоянии ни был план, в субботу утром я начинаю превращать его в связный текст. К этому моменту план уже довольно подробный, и остаётся лишь переписать пункты в предложения и абзацы. На это уходит от пяти до пятнадцати часов. Когда это сделано, я редактирую текст один раз на предмет грамматики и орфографии, и ещё раз — на читабельность. Я всегда публикую к вечеру воскресенья.

What are the things you’ve enjoyed most about writing such articles?

Что вам больше всего нравится в написании таких статей?

I enjoy how writing forces me to research and learn and summarize my thinking, especially the more technical pieces like teardowns and surveys. Writing’s been an invaluable learning technique. When I try to write, gaps in my knowledge appear. This leads to more research and learning before I can complete the piece.

Мне нравится, как письмо заставляет меня исследовать, учиться и обобщать свои мысли, особенно в более технических материалах вроде разборов (teardowns) и обзоров (surveys). Письмо стало бесценной техникой обучения. Когда я пытаюсь что-то написать, обнаруживаются пробелы в моих знаниях. Это ведёт к новым исследованиям и обучению, прежде чем я смогу завершить материал.

I also enjoy how writing helps me reflect, collect, and structure my thoughts. This mostly applies to pieces where I write from experience, such as the benefits of reading papers and how to maintain ML systems in production. When the need arises for me to preach about these topics again, I’d have thought about it deeply and even have a URL to share.

Мне также нравится, как письмо помогает мне рефлексировать, собирать и структурировать мысли. В основном это относится к материалам, которые я пишу из собственного опыта, таким как польза чтения научных статей и как поддерживать ML-системы в продакшене. Когда снова возникнет необходимость рассказывать об этих темах, я уже глубоко об этом подумаю и даже буду иметь ссылку, которой можно поделиться.

What I enjoy most about writing is how scalable it is. Writing is O(1). It takes the same effort to write for one person or 10,000. When I’ve been asked the same question multiple times, I try to write about it (e.g., how to write ML design docs, the difference between various data/ML roles). As a bonus, my writing has made me new friends such as other ML practitioners, VCs, startup founders, etc, and has led to several interesting opportunities.

Больше всего в письме мне нравится то, насколько оно масштабируемо. Письмо — это O(1). Требуется одинаковое количество усилий, чтобы написать для одного человека или для 10 000. Когда мне многократно задают один и тот же вопрос, я стараюсь написать об этом (например, как писать дизайн-документы по ML, в чём разница между различными ролями в data/ML). Как бонус, моё письмо подарило мне новых друзей — других ML-практиков, венчурных инвесторов, основателей стартапов и т. д. — и привело к нескольким интересным возможностям.

+1 for a blog post about your experience on this.

+1 за пост в блоге о вашем опыте в этом. — Dr. L λR Y-54 (@visenger) 10 декабря 2020

The tweet above led to a write-up on real-time recommender systems.

Твит выше привёл к материалу о рекомендательных системах реального времени.

What kind of writing in DS/ML would you like to see more of?

Какого рода материалов в DS/ML вы хотели бы видеть больше?

(From TDS: The context of this question is the general sense that most tech articles or tutorials published online are terrible. To improve that, one of my goals as an editor is to seek out & publish “ghost knowledge” from experienced practitioners versus the marginal blog post about a tutorial or student portfolio project.)

(От TDS: контекст этого вопроса — общее ощущение, что большинство технических статей и туториалов, публикуемых онлайн, ужасны. Чтобы это улучшить, одна из моих целей как редактора — искать и публиковать «призрачное знание» от опытных практиков, а не очередной проходной пост о туториале или студенческом портфолио-проекте.)

I’m a practical person and enjoy practical content. I like content where I can learn from other’s successes or mistakes and apply them at work. That’s why I curated the applied-ml repository. Reading how other companies approach and solve ML problems has been helpful when I’m designing my own ML systems. Nonetheless, I wish people would share more about what didn’t work. Maybe not every failed experiment, but general lessons about how not to approach a problem would be a great timesaver.

Я человек практичный и люблю практический контент. Мне нравятся материалы, из которых я могу учиться на чужих успехах или ошибках и применять это в работе. Именно поэтому я собрал репозиторий applied-ml. Чтение о том, как другие компании подходят к ML-задачам и решают их, очень помогает мне, когда я проектирую собственные ML-системы. Тем не менее я хотел бы, чтобы люди больше делились тем, что НЕ сработало. Может, и не о каждом провальном эксперименте, но общие уроки о том, как не стоит подходить к задаче, сильно экономили бы время.

I also enjoy papers where authors include ablation studies. It’s amazing (and slightly sad) how much we can do with deep learning yet know so little about how it learns.

Мне также нравятся научные статьи, в которых авторы включают ablation-исследования. Удивительно (и немного грустно), как много мы можем сделать с глубоким обучением и при этом так мало знаем о том, как оно обучается.

Along the same vein, I enjoy content about the nuts and bolts of ML systems where authors share how machine learning, engineering, and product come together to build something that helps people. We need more of such case study-type content to help the community learn how to apply ML effectively.

В том же ключе мне нравится контент о внутреннем устройстве ML-систем, где авторы рассказывают, как машинное обучение, инженерия и продукт соединяются, чтобы создать что-то полезное для людей. Нам нужно больше такого контента в формате кейс-стади, чтобы помочь сообществу научиться эффективно применять ML.

You have a pretty comprehensive writing philosophy. What is your advice to readers looking to improve their writing and also stand out online as more and more engineers get into writing?

У вас довольно подробная философия письма. Что бы вы посоветовали читателям, которые хотят улучшить своё письмо и выделиться онлайн, ведь всё больше инженеров начинают писать?

Start. Just start.

Начните. Просто начните.

I usually get two responses to that: “What if my writing is bad?” or “But I haven’t found my niche yet!”

Обычно я получаю на это два ответа: «А что, если я пишу плохо?» или «Но я ещё не нашёл свою нишу!»

Don’t worry about your writing being bad. The truth is, approximately zero people are going to read your first dozen pieces (well, unless you write on a big publication like Towards Data Science 😉). So dance like nobody’s watching, and write like nobody’s reading. At the beginning, you’re writing to practice.

Не переживайте, что пишете плохо. Правда в том, что ваши первые десяток-другой материалов прочитает приблизительно ноль человек (ну, если только вы не пишете в крупном издании вроде Towards Data Science 😉). Так что танцуйте так, будто никто не смотрит, и пишите так, будто никто не читает. В начале вы пишете, чтобы практиковаться.

Similarly, you won’t find your niche by just thinking about it. You find it by writing a lot, putting it out there, and seeing what resonates. And maybe after 20 pieces or so, you look back and see themes emerge from your body of work. You can only connect the dots looking backwards—the best way to do this is to have a lot of dots by shipping consistently.

Точно так же вы не найдёте свою нишу, просто размышляя о ней. Вы находите её, много пишите, выкладывая это на всеобщее обозрение и наблюдая, что находит отклик. И, может быть, после 20 или около того материалов вы оглядываетесь назад и видите, как из вашего корпуса работ проступают темы. Соединить точки можно лишь оглядываясь назад — и лучший способ это сделать — иметь много точек, публикуясь регулярно.

You can’t connect the dots looking forward; you can only connect them looking backwards. — Steve Jobs

Нельзя соединить точки, глядя вперёд; их можно соединить лишь оглядываясь назад. — Steve Jobs

That said, there are a few lessons I’ve learned about writing to make it easier and more enjoyable. I’ve written about it in detail previously and will share the key points here:

Тем не менее есть несколько уроков о письме, которые я усвоил и которые делают его проще и приятнее. Я уже подробно писал об этом ранее и поделюсь здесь ключевыми моментами:

Письмо — это на 80% подготовка и на 20% само письмо. Письмо даётся тяжело всем. Не вы находите свою нишу — ниша находит вас. Ваше письмо ничего не стоит, если оно бесполезно. Ваш голос — это не то, как вы пишете; ваш голос — это вы сами.

I think it’s okay if your work doesn’t stand out online. Writing is both a multiplayer and single-player game. It’s multiplayer in the sense that other people can engage with and share your writing, give you feedback, and befriend you. It’s single-player because when you write, you’re learning, thinking deeply, and clarifying your thoughts. Regardless of multiplayer outcomes, you always win the single-player game.

Я считаю, что это нормально, если ваша работа не выделяется онлайн. Письмо — это одновременно и многопользовательская, и одиночная игра. Оно многопользовательское в том смысле, что другие люди могут взаимодействовать с вашим текстом и делиться им, давать обратную связь и заводить с вами дружбу. Оно одиночное, потому что, когда вы пишете, вы учитесь, глубоко думаете и проясняете свои мысли. Независимо от исхода в многопользовательской игре, в одиночной вы всегда выигрываете.

Many things in life are both single-player & multi-player games.

Writing for example. Getting feedback and making new friends is multi-player; learning and clarifying your thoughts is single-player.

Regardless of multi-player outcomes, you always win the single-player game.

Многие вещи в жизни — это одновременно и одиночные, и многопользовательские игры. Письмо, например. Получать обратную связь и заводить новых друзей — многопользовательская часть; учиться и прояснять свои мысли — одиночная. Независимо от исхода в многопользовательской игре, в одиночной вы всегда выигрываете. — Eugene Yan (@eugeneyan) 5 мая 2021

What are your hopes for the DS/ML community in the next few months/couple of years?

Каковы ваши надежды на DS/ML-сообщество в ближайшие месяцы или пару лет?

I’d like to see the community thinking more about ML systems—instead of just ML models—and the production side of things. I get the sense that, right now, most people consider training and achieving good validation results as the finish line (à la Kaggle).

Я хотел бы видеть, чтобы сообщество больше думало об ML-системах — а не только об ML-моделях — и о продакшен-стороне дел. У меня есть ощущение, что прямо сейчас большинство людей считают обучение и достижение хороших результатов на валидации финишной чертой (à la Kaggle).

However, there’s a lot more that needs to be done for your model to make an impact. You have to set up data pipelines, orchestrate and schedule them, deploy, test, monitor, scale infra for latency and throughput, have policies for data privacy, security, on-call, etc. All this takes time, easily 20 - 100x the time to train and validate a prototype model.

Однако, чтобы ваша модель приносила пользу, нужно сделать гораздо больше. Вам надо настроить пайплайны данных, оркестрировать и планировать их, развернуть, тестировать, мониторить, масштабировать инфраструктуру под задержки и пропускную способность, иметь политики приватности данных, безопасности, дежурств (on-call) и так далее. Всё это занимает время — легко в 20–100 раз больше, чем обучение и валидация прототипа модели.

Here's a datapoint from a Quora answer: "For one project I worked on: research quality prototype: 2 person-months. Production-quality version: 117 person-months. The prototype had some extra features not seen in the production version."https://t.co/tqjlTjDgGf

Вот цифра из ответа на Quora: «По одному проекту, над которым я работал: прототип исследовательского качества — 2 человеко-месяца. Версия продакшен-качества — 117 человеко-месяцев. При этом у прототипа были некоторые дополнительные функции, которых не было в продакшен-версии.» https://t.co/tqjlTjDgGf — Eugene Yan (@eugeneyan) 29 апреля 2021

"The prototype had extra features not seen in the production version."

«У прототипа были дополнительные функции, которых не было в продакшен-версии.»

And after you’ve shipped your ML model, it’s just the starting line. You’ve to maintain it sustainably. Imagine shipping an ML app once every quarter. After a year, you’ll have four apps to maintain—how would you do that without too much operational burden?

И после того, как вы выпустили свою ML-модель, это лишь стартовая черта. Вам нужно поддерживать её устойчиво. Представьте, что вы выпускаете ML-приложение раз в квартал. Через год у вас будет четыре приложения для поддержки — как вы будете делать это без слишком большой операционной нагрузки?

I also wish more data scientists focused on problem formulation. For example, to identify abuse on social networks, you could frame it as a supervised or unsupervised problem. A supervised approach will need high-quality labels. An unsupervised approach has various flavors, such as outlier detection (e.g., isolation forests) or network analysis (e.g., graph clustering of bad actors).

Я также хотел бы, чтобы больше дата-сайентистов уделяли внимание формулировке задачи. Например, чтобы выявлять злоупотребления в соцсетях, вы можете сформулировать это как задачу с учителем или без учителя. Подход с учителем потребует качественных меток. Подход без учителя имеет разные разновидности, такие как обнаружение выбросов (например, isolation forests) или сетевой анализ (например, кластеризация графа недобросовестных акторов).

How we frame problems has an outsized impact on outcomes. This also applies to choosing the right positive and negative labels—negative sampling is an obscure art. It’s also useful to think about how your loss function correlates with your offline validation metrics (recall@k, nDCG), and how that correlates with online A/B testing metrics (clicks, conversion) and downstream business metrics (revenue, customer lifetime value).

То, как мы формулируем задачи, оказывает несоразмерно большое влияние на результаты. Это также относится к выбору правильных положительных и отрицательных меток — негативное сэмплирование — это малопонятное искусство. Полезно также думать о том, как ваша функция потерь коррелирует с офлайн-метриками валидации (recall@k, nDCG), как это коррелирует с онлайн-метриками A/B-тестирования (клики, конверсия) и с нижестоящими бизнес-метриками (выручка, пожизненная ценность клиента).

If you found this useful, please cite this write-up as:

Если этот материал оказался вам полезен, пожалуйста, ссылайтесь на него так:

Yan, Ziyou. (Jun 2021). Towards Data Science - Author Spotlight with Eugene Yan. eugeneyan.com. https://eugeneyan.com/speaking/tds-author-spotlight/.

Yan, Ziyou. (Jun 2021). Towards Data Science - Author Spotlight with Eugene Yan. eugeneyan.com. https://eugeneyan.com/speaking/tds-author-spotlight/.

or

или

@article{yan2021towards, title = {Towards Data Science - Author Spotlight with Eugene Yan}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2021}, month = {Jun}, url = {https://eugeneyan.com/speaking/tds-author-spotlight/} }

@article{yan2021towards, title = {Towards Data Science - Author Spotlight with Eugene Yan}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2021}, month = {Jun}, url = {https://eugeneyan.com/speaking/tds-author-spotlight/} }

Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.

Присоединяйтесь к 11 800+ читателям, получающим новости о машинном обучении, RecSys, LLM и инженерии.