What does a Data Scientist really do?

Start Here Writing Speaking Prototyping About

What does a Data Scientist really do?

Чем на самом деле занимается Data Scientist?

[ career datascience ] · 8 мин чтения

As a data scientist, I sometimes get approached by others on questions related to data science. This could be while at work, or at the meetups I organise and attend, or questions on my site or linkedIn. Through these interactions, I realised there is significant misunderstanding about data science. Misunderstandings arise around the skills needed to practice data science, as well as what data scientists actually do.

Как data scientist, я время от времени получаю вопросы от других людей, связанные с data science. Это может происходить на работе, на митапах, которые я организую и посещаю, или в виде вопросов на моём сайте и в LinkedIn. Через эти взаимодействия я понял, что вокруг data science существует значительное непонимание. Заблуждения касаются как навыков, необходимых для практики data science, так и того, чем data scientists на самом деле занимаются.

Perception of what is needed and done

Восприятие того, что требуется и что делается

Many people are of the perception that deep technical and programming abilities, olympiad level math skills, and a PhD are the minimum requirements, and that having such skills and education qualifications will guarantee success in the field. This is slightly unrealistic and misleading, and does not help to mitigate the issue of scarce data science talent, such as those listed in The New York Times and Bloomberg.

Многие считают, что глубокие технические и программистские способности, математические навыки олимпиадного уровня и PhD — это минимальные требования, и что наличие таких навыков и образования гарантирует успех в этой области. Это слегка нереалистично и вводит в заблуждение, а также не помогает смягчить проблему дефицита талантов в data science, как, например, описано в The New York Times и Bloomberg.

Similarly, based on my interactions with people, as well as comments online, many perceive that a data scientist’s main job is machine learning, or researching the latest neural network architectures—essentially, Kaggle as a full time job. However, machine learning is just a slice of what data scientists actually do (personally, I find it constitutes < 20% of my day to day work).

Аналогично, исходя из моего общения с людьми и комментариев в интернете, многие воспринимают, что основная работа data scientist — это machine learning или исследование новейших архитектур нейронных сетей, по сути Kaggle в качестве полноценной работы. Однако machine learning — это лишь часть того, что на самом деле делают data scientists (лично у меня это занимает < 20% повседневной работы).

How do these perceptions come about?

Откуда берутся эти представления?

One hypothesis is the statical fallacy of availability. For the average population, they would probably know about data scientists based on what they’ve seen/heard on the news and articles, or perhaps a course or two on Coursera.

Одна из гипотез — статистическая ошибка доступности. Среднестатистический человек, вероятно, знает о data scientists из того, что видел/слышал в новостях и статьях, или, возможно, прошёл курс-другой на Coursera.

What’s likely to be the background of these data scientists? If it’s from this Forbes article on the recent Turing Award for contributions in AI, you’ll find three very distinguished gentlemen who have amazing publishing records and introduced the world to neural networks, backpropogation, CNNs, and RNNs.

Каков, скорее всего, бэкграунд этих data scientists? Если это из статьи Forbes о недавней Премии Тьюринга за вклад в AI, вы увидите трёх очень выдающихся джентльменов с впечатляющим списком публикаций, которые познакомили мир с нейронными сетями, backpropagation, CNN и RNN.

Or perhaps you read the recent Deepmind post about how neural networks and reinforcement learning achieved human expert level performance, and found that the team was largely comprised of PhDs. If it’s from a course, the person is likely to have a PhD, and went through deep mathematical proofs on machine learning techniques. Thus, based on what you can think of, or what is available in memory, many people tend to have a skewed perception on what background a data scientist should have.

Или, возможно, вы читали недавний пост DeepMind о том, как нейронные сети и reinforcement learning достигли уровня экспертов-людей, и обнаружили, что команда состояла в основном из PhD. Если это из курса, то ведущий, скорее всего, имеет PhD и проводит глубокие математические доказательства методов machine learning. Таким образом, исходя из того, что можно вспомнить или что доступно в памяти, у многих складывается искажённое представление о том, каким бэкграундом должен обладать data scientist.

The same goes for what data scientists actually do. Most of the sexy headlines on data science involve using machine learning to solve (currently) unsolvable problems, everything from research-based (computer games) to very much applied (self-driving cars). In addition, given that the majority of data science courses are on machine learning, its no wonder that the statistical fallacy of availability would skew people towards thinking that machine learning is the be all end all.

То же самое касается и того, чем на самом деле занимаются data scientists. Большинство громких заголовков о data science связаны с применением machine learning для решения (на данный момент) нерешённых задач — от исследовательских (компьютерные игры) до сугубо прикладных (беспилотные автомобили). Кроме того, поскольку большинство курсов по data science посвящены machine learning, неудивительно, что статистическая ошибка доступности склоняет людей думать, что machine learning — это альфа и омега.

Such perceptions are (mostly) incorrect

Такие представления (в основном) неверны

Firstly, yes, there are researchers in labs who spend 80% of their time training tens of the same neural network architecture and hope for convergence on some of them, publish breakthrough research papers, and build cool applications that involve the latest and greatest. Nonetheless, they probably constitute < 1% of the overall data science community.

Во-первых, да, есть исследователи в лабораториях, которые тратят 80% своего времени на обучение десятков одинаковых нейронных архитектур в надежде на сходимость некоторых из них, публикуют прорывные исследовательские статьи и создают крутые приложения, использующие самые передовые технологии. Тем не менее, они составляют, вероятно, < 1% всего сообщества data science.

For most data scientists, while machine learning is a critical aspect of their work, it is only part of it. In addition, the perceived requirement for deep technical and math skills, as well as a PhD, to be effective in data science, is naive.

Для большинства data scientists machine learning, безусловно, является критически важной частью работы, но это лишь её часть. Кроме того, представление о том, что для эффективной работы в data science необходимы глубокие технические и математические навыки, а также PhD, наивно.

In my years of experience, first as a data scientist, then as a data science lead, I’ve had the opportunity to hire and assess many data scientists, and observed first hand what is needed for effective data science. In addition, I’ve also reached out and interviewed many experts, people who are Chief Data Officers, Chief Data Scientists, CTOs, and Heads of Data Science—they too, disagree with the flawed public perception.

За годы моего опыта — сначала как data scientist, затем как руководитель направления data science — у меня была возможность нанимать и оценивать многих data scientists и наблюдать из первых рук, что нужно для эффективной работы в этой области. Кроме того, я связывался и интервьюировал многих экспертов: Chief Data Officers, Chief Data Scientists, CTO и руководителей подразделений data science — они тоже не согласны с этим ошибочным общественным восприятием.

So what do Data Scientists actually do?

Так чем же на самом деле занимаются Data Scientists?

To provide some context, I’ll reference the commonly used distinction between Type A and Type B data scientists.

Для контекста сошлюсь на часто используемое различие между data scientists типа A и типа B.

Type A: The A stands for Analysis. Such data scientists are primarily concerned with making sense of data, or working with it in a fairly static way. They are very similar to a statistician.

Type B: The B stands for Building. They share some statistical background with Type A, but are also strong programmers and may be trained software engineers. They are mostly interested in serving data “in production”.

Тип A: A означает Analysis (анализ). Такие data scientists в основном занимаются осмыслением данных или работой с ними в довольно статичной форме. Они очень похожи на статистиков. Тип B: B означает Building (построение). Они разделяют некоторую статистическую базу с типом A, но также являются сильными программистами и могут быть обученными software engineers. Они в основном заинтересованы в работе с данными «в продакшене».

The following is tilted towards Type B Data Scientists, due to my personal background, the teams I’ve built, and the objectives I’ve had to achieve. For Type B, the desired outcomes of most data science efforts is a data product that delivers value, either via providing insight for decisions, or automated decision making.

Дальнейшее изложение склоняется в сторону data scientists типа B, в силу моего личного бэкграунда, команд, которые я строил, и целей, которых мне приходилось достигать. Для типа B желаемым результатом большинства усилий в data science является data-продукт, приносящий ценность — либо предоставляя инсайты для принятия решений, либо автоматизируя принятие решений.

The journey towards putting a data product into production may involve many steps, which include:

Путь к выводу data-продукта в продакшен может включать множество шагов, в том числе:

Understanding the problem and context, and framing problem statement (framing)

Понимание задачи и контекста, формулирование постановки задачи (framing)

Understanding the problem to solve, and the available data

Framing the task and scope

Identifying constraints (data refresh rate, data security, etc.)

Identifying desired outcomes (including optimisation metrics)

Identifying ethical risks (e.g., how would predictions be misused, either deliberately or accidentally)

Понимание задачи, которую нужно решить, и доступных данных. Определение задачи и её границ. Выявление ограничений (частота обновления данных, безопасность данных и т.д.). Определение желаемых результатов (включая оптимизируемые метрики). Выявление этических рисков (например, как предсказания могут быть использованы не по назначению — намеренно или случайно).

Data acquisition, exploration, and preparation (infra)

Получение, исследование и подготовка данных (infra)

Laying the foundation for robust analytics

Understanding how to collect more data if needed

Understanding the data, including errors in the data and how to fix them

Preparing the data, including filling nulls, handling outliers, formatting, etc.

Figuring out how to join data across multiple different sources, ensuring that the process is valid and correct

Visualizing the data and understanding underlying signals in the data

Заложение основы для надёжной аналитики. Понимание того, как собирать больше данных при необходимости. Понимание данных, в том числе ошибок в них и того, как их исправлять. Подготовка данных, включая заполнение null-значений, обработку выбросов, форматирование и т.д. Понимание того, как объединять данные из нескольких разных источников, обеспечивая корректность и валидность процесса. Визуализация данных и понимание лежащих в их основе сигналов.

Building frameworks (e.g., validation) and pipelines (e.g., data preparation and ML experiments)

Построение фреймворков (например, валидации) и пайплайнов (например, подготовка данных и ML-эксперименты)

Building a proper validation framework (e.g., can we use random shuffle k-fold, or should a time-based split be used)

Building data processing pipelines to prepare data, sometimes involving big data

Performing statistical analysis to understand the relationships between variables in the data

Building feature processing pipelines to convert prepared data into ML ready format (e.g., all features should be numerics)

Building ML pipelines to allow you to run parallel experiments, record results, visualise them, etc.

Pipelines should be built such that they allow for easily change in data prep or feature engineering approaches via config files, instead of being hardcoded

The same goes for ML experiment pipelines—they should work for all model types, params, etc.

Построение корректного фреймворка валидации (например, можно ли использовать случайное перемешивание k-fold или нужно разбиение по времени). Построение пайплайнов обработки данных для их подготовки, иногда с использованием big data. Проведение статистического анализа для понимания связей между переменными в данных. Построение пайплайнов обработки признаков для преобразования подготовленных данных в формат, готовый для ML (например, все признаки должны быть числовыми). Построение ML-пайплайнов, позволяющих запускать параллельные эксперименты, фиксировать результаты, визуализировать их и т.д. Пайплайны следует строить так, чтобы они позволяли легко менять подходы к подготовке данных или feature engineering через config-файлы, а не хардкодом. То же касается пайплайнов ML-экспериментов — они должны работать для всех типов моделей, параметров и т.д.

Running experiments, monitoring, and analysing (testing)

Запуск экспериментов, мониторинг и анализ (testing)

Assessing multiple broad approaches before deciding on a model to use (e.g., trees, regression, svms, neural networks)

Deciding how to model the data (e.g., for forecasting, should it be in batch, with hand crafted features, or take in sequential data)

Running experiments with numerous hyperparams to understand how model learns on the data

Running experiments with other “tricks” (e.g., data augmentation, data weighting, different objective functions, etc)

Analyse the model performance (e.g., learning curves, error analysis)

Assess for underfitting/overfitting

Running online experiments, etc.

Оценка нескольких широких подходов перед выбором модели (например, деревья, регрессия, SVM, нейронные сети). Решение о том, как моделировать данные (например, для прогнозирования — должно ли это быть в режиме batch, с ручным feature engineering, или принимать последовательные данные). Запуск экспериментов с различными гиперпараметрами для понимания того, как модель учится на данных. Запуск экспериментов с другими «трюками» (например, аугментация данных, взвешивание данных, разные целевые функции и т.д.). Анализ производительности модели (например, learning curves, анализ ошибок). Оценка на предмет underfitting/overfitting. Запуск онлайн-экспериментов и т.д.

Putting the data product into production (data products)

Вывод data-продукта в продакшен (data products)

Ensuring data and machine learning pipelines are scalable and robust

Building personalised data products

Creating APIs for machine learning models

Determining how to schedule your pipelines

Monitoring and maintaining data product and models over time

Monitoring input data, and model validation results

Communicating results to the organization

Convincing decision makers of their results

Rollback planning for incorrect models

Ethics of how the data is being use

Обеспечение масштабируемости и надёжности пайплайнов данных и machine learning. Построение персонализированных data-продуктов. Создание API для моделей machine learning. Определение того, как планировать запуск ваших пайплайнов. Мониторинг и поддержка data-продуктов и моделей с течением времени. Мониторинг входных данных и результатов валидации модели. Коммуникация результатов с организацией. Убеждение лиц, принимающих решения, в правильности результатов. Планирование отката для некорректных моделей. Этика использования данных.

As you may have noticed, machine learning makes up a (small) portion of what data scientists actually do. While not every step is necessary in every project, and not every data scientists will do every step, most aspects will be de facto in many data science projects/products.

Как вы могли заметить, machine learning составляет (небольшую) часть того, что на самом деле делают data scientists. Хотя не каждый шаг необходим в каждом проекте, и не каждый data scientist выполняет каждый шаг, большинство аспектов де-факто присутствуют во многих data science проектах/продуктах.

So what abilities do Data Scientists need?

Так какие же способности нужны Data Scientists?

Given the above, we get a sense that a strong understanding of machine learning alone is insufficient in the data science process. Having additional deep technical, math, and programming skills are useful, but don’t encompass the full picture.

С учётом вышесказанного становится ясно, что одного только глубокого понимания machine learning недостаточно для процесса data science. Дополнительные глубокие технические, математические и программистские навыки полезны, но не охватывают полной картины.

What exactly is needed then? In my quest to understand this, I interviewed many data science experts and leaders, with questions such as:

Что же тогда нужно? В своих поисках ответа на этот вопрос я опросил многих экспертов и лидеров data science с такими вопросами, как:

“What do you think makes a rockstar data scientist?”

“What do the best data scientists on your team do? What are they like?”

“How do you measure success in data science?

«Что, по вашему мнению, делает data scientist рок-звездой?» «Что делают лучшие data scientists в вашей команде? Какие они?» «Как вы измеряете успех в data science?»

The overall answer to the questions was this—the best data scientists work with data to “deliver measurable value”.

Общий ответ на эти вопросы был таков: лучшие data scientists работают с данными, чтобы «приносить измеримую ценность».

For me, this was completely out of the left field. I had imagined the answer to be based on math, research, programming, cutting edge techniques, and developing new algorithms. While the answers from the experts/mentors were simple, it was not something that could be replicated in a straightforward manner. If it were programming and technical abilities, I could just practise more and get better at it. If it were math and algorithms, I would study more and practise. However, this was not the case.

Для меня это было полной неожиданностью. Я ожидал, что ответ будет основан на математике, исследованиях, программировании, передовых техниках и разработке новых алгоритмов. Хотя ответы экспертов/менторов были простыми, это не то, что можно было воспроизвести напрямую. Если бы дело было в программировании и технических навыках, я мог бы просто больше практиковаться и совершенствоваться. Если бы это была математика и алгоритмы — я бы больше учился и практиковался. Однако дело было не в этом.

How does one practise “using data to deliver measurable value”?

Как же практиковаться в «использовании данных для создания измеримой ценности»?

Thus, I began on my next journey to understand what was required. I’ll share what I’ve found in a later post.

Так я отправился в следующее путешествие, чтобы понять, что для этого необходимо. Тем, что я обнаружил, поделюсь в одном из следующих постов.

If you found this useful, please cite this write-up as:

Если вы нашли это полезным, пожалуйста, цитируйте этот текст как:

Yan, Ziyou. (Apr 2019). What does a Data Scientist really do?. eugeneyan.com. https://eugeneyan.com/writing/what-does-a-data-scientist-really-do/.

or

или

@article{yan2019scientist, title = {What does a Data Scientist really do?}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2019}, month = {Apr}, url = {https://eugeneyan.com/writing/what-does-a-data-scientist-really-do/} }

Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.

К 11 800+ читателям, получающим обновления о machine learning, RecSys, LLM и инженерии.