Red Flags to Look Out for When Joining a Data Team

eugeneyan

eugeneyan

Начните отсюда Статьи Выступления Прототипирование Обо мне

Red Flags to Look Out for When Joining a Data Team

Красные флаги, на которые стоит обращать внимание при входе в дата-команду

[ datascience machinelearning career ] · 8 min read

[ datascience machinelearning career ] · 8 мин чтения

Looking for new data science opportunities in this heated market? Before you accept that offer, here are some red flags to beware of. While these are from the perspective of data science, they would also apply to most tech roles.

Ищете новые возможности в data science на этом перегретом рынке? Прежде чем принять оффер, вот несколько красных флагов, которых стоит опасаться. Хотя они даны с точки зрения data science, большинство из них применимо и к большинству ролей в техе.

Data: No data, or data that’s poorly organized and/or inaccessible. This can happen if you’re joining a startup that doesn’t have a critical mass of customers yet or if it’s a B2B company that relies on partners for data (e.g., ML solution providers for healthcare, fintech). Almost as bad, they might have data, but it’s stored in various formats with different schemas, making it difficult to use.

Данные: данных нет, либо они плохо организованы и/или недоступны. Это может случиться, если вы присоединяетесь к стартапу, у которого ещё нет критической массы клиентов, или если это B2B-компания, которая полагается на данные от партнёров (например, поставщики ML-решений для здравоохранения, финтеха). Почти так же плохо, если данные у них есть, но они хранятся в разных форматах с разными схемами, что затрудняет их использование.

Without basic data infra in place, a data scientist would face an uphill battle trying to contribute value via analytics or machine learning. Most will likely be frustrated with the grind of data acquisition, organization, cataloging, and building pipelines.

Без базовой инфраструктуры данных дата-сайентисту придётся вести тяжёлую борьбу, пытаясь приносить ценность через аналитику или машинное обучение. Большинство, скорее всего, будут измотаны рутиной сбора, организации, каталогизации данных и построения пайплайнов.

A few questions to suss out this red flag:

Несколько вопросов, чтобы выявить этот красный флаг:

Какие данные генерируются или собираются вашими системами? Какие ключевые объекты есть в ваших данных — например, клиенты, товары или транзакции, — и каково примерное число новых строк в день или в месяц? Как я, новый сотрудник, буду получать доступ к данным?

Roadmap: No/poor plan on how the team will deliver value to customers and the business. A few years ago, during an interview, I asked a director of data science about his roadmap for the next 12 months. He responded at length about how he was focusing on team growth, diversity, and upgrading the tech stack. (This wasn’t the answer I was looking for.) I then asked, more specifically, how the team would contribute to customers and the business. Unfortunately, he couldn’t answer anything coherent—that was a big red flag for me.

Роадмап: нет плана или плохой план того, как команда будет приносить ценность клиентам и бизнесу. Несколько лет назад на собеседовании я спросил директора по data science о его роадмапе на ближайшие 12 месяцев. Он долго рассказывал о том, как сосредоточен на росте команды, разнообразии и обновлении технологического стека. (Это был не тот ответ, который я искал.) Тогда я спросил конкретнее: как команда будет приносить пользу клиентам и бизнесу. К сожалению, ничего связного он ответить не смог — и для меня это был большой красный флаг.

While data science isn’t the only one guilty of this, it’s especially easy for us to make this mistake. Engineering and product can point to concrete features that improve the customer experience and contribute to the bottom line. But data science can spend too much time on research without tangible results. While this is acceptable if you’re in an innovation team, typically, most companies don’t have the luxury of funding such a team. And when lean times come, teams that don’t contribute to the business are likely first to be cut. Also, if you’re a practitioner, it’s not healthy for your career and resume to have too many years go by without delivering customer or business results.

Хотя в этом грешит не только data science, нам особенно легко совершить эту ошибку. Инженерия и продукт могут указать на конкретные фичи, которые улучшают клиентский опыт и влияют на итоговую прибыль. А data science может тратить слишком много времени на исследования без осязаемых результатов. Это допустимо, если вы в инновационной команде, но обычно у большинства компаний нет роскоши финансировать такую команду. И когда наступают трудные времена, команды, которые не вносят вклад в бизнес, скорее всего, сократят первыми. Кроме того, если вы практик, для вашей карьеры и резюме нездорово, когда проходит слишком много лет без результатов для клиентов или бизнеса.

Questions to ask about the roadmap:

Вопросы, которые стоит задать о роадмапе:

Как команда приносит ценность клиентам и бизнесу? Каков ваш роадмап и запланированные результаты на квартал? А на год? Как для команды выглядит успех? Каковы KPI команды?

Role: Misaligned expectations on the role and career progression guidelines. The term “data scientist” has become synonymous with “data analyst” in certain companies. In August 2017, the Reddit community pointed out that data scientists at Facebook (now Meta) were mostly doing data analyst work. Similarly, in April 2018, Lyft rebranded their data analysts as data scientists, explaining that they were losing data analytics candidates to competitors offering the data scientist role.

Роль: несовпадение ожиданий по роли и правилам карьерного роста. В некоторых компаниях термин «data scientist» стал синонимом «data analyst». В августе 2017 года сообщество Reddit отметило, что дата-сайентисты в Facebook (ныне Meta) в основном выполняли работу аналитиков данных. Аналогично, в апреле 2018 года Lyft переименовал своих аналитиков данных в дата-сайентистов, объяснив, что терял кандидатов-аналитиков в пользу конкурентов, предлагавших роль data scientist.

Since then, several companies have gone down the same path, to the extent where their data scientists mainly build data pipelines and dashboards. The point is, job title is often a poor signal of what the role involves, and accepting an offer based solely on the title can lead to misaligned expectations, job dissatisfaction, and eventual attrition. Thus, don’t make assumptions based on the title and clarify what the role entails. (I previously did a comparison of data, research, and applied scientist roles.)

С тех пор несколько компаний пошли тем же путём — вплоть до того, что их дата-сайентисты в основном строят пайплайны данных и дашборды. Суть в том, что название должности часто плохо отражает то, что представляет собой роль, и принятие оффера исключительно на основе названия может привести к несовпадению ожиданий, неудовлетворённости работой и в итоге к уходу. Поэтому не делайте предположений на основе названия должности и уточняйте, что именно подразумевает роль. (Ранее я делал сравнение ролей data, research и applied scientist.)

If you can get access to the team’s promotion guidelines, consider whether it aligns with your aspirations. For example, if you prefer building simple, effective machine learning systems, guidelines that emphasize research and state-of-the-art might require you to do a separate promo project, thus delaying your progression. On the other hand, if your preference is research and publishing but the guidelines require a record of system design and engineering, you might find yourself stuck down the road.

Если вы можете получить доступ к правилам продвижения в команде, подумайте, соответствуют ли они вашим устремлениям. Например, если вы предпочитаете строить простые, эффективные системы машинного обучения, а правила делают акцент на исследованиях и передовом уровне (state-of-the-art), вам, возможно, придётся делать отдельный проект для повышения, тем самым задерживая ваш рост. С другой стороны, если ваше предпочтение — исследования и публикации, а правила требуют опыта проектирования систем и инженерии, вы можете в какой-то момент оказаться в тупике.

Questions to ask about the role and progression:

Вопросы, которые стоит задать о роли и карьерном росте:

Что человек на этой роли должен сделать за первые 100 дней? А за первый год? Какими ключевыми навыками и моделями поведения обладают самые эффективные люди на этой роли? Как определяется и измеряется успех на этой роли? Что нужно продемонстрировать, чтобы перейти на следующий уровень?

Manager: Incompetent, lacks vision, abusive, etc. We each have different yardsticks on what makes a good boss. Similarly, what makes a manager terrible likely differs from person to person. Thus, it’s hard to give prescriptive advice on how to probe for this red flag. One way is to ask the hiring manager to share the contact details of 2 - 3 people who used to work with them, people who can speak freely without fear of direct repercussion. Alternatively, speak to the most tenured person on the team.

Руководитель: некомпетентный, без видения, токсичный и т. д. У каждого из нас своя мерка того, что делает начальника хорошим. Точно так же то, что делает руководителя ужасным, у разных людей, вероятно, отличается. Поэтому сложно дать предписывающий совет, как прощупать этот красный флаг. Один из способов — попросить нанимающего менеджера поделиться контактами 2–3 человек, которые раньше работали с ним, — людей, которые могут говорить свободно, не опасаясь прямых последствий. Как вариант, поговорите с самым опытным сотрудником команды.

Questions to probe for managerial red flags:

Вопросы, чтобы прощупать красные флаги по руководителю:

Каковы сильные и слабые стороны руководителя? Нравилось ли вам работать с этим руководителем? Почему да или почему нет? Как руководитель поддерживал команду и помогал ей расти? Понравилось бы (или нравилось ли) вам проводить время с руководителем в неформальной обстановке?

Tooling: They use outdated or proprietary tools that are barely transferable to other roles. It takes considerable time and effort to learn new tools before we’re productive with them. Yet, our proficiency with tools is perishable—we lose touch if we stop using them for a prolonged period. Thus, it’s natural to have concerns about using outdated or proprietary tooling (specific to data science, the big “S”s), especially since they’re likely non-transferable to other roles. Also, using good tools makes the work more enjoyable.

Инструменты: используются устаревшие или проприетарные инструменты, которые почти не переносятся в другие роли. Освоение новых инструментов до уровня продуктивности требует значительного времени и усилий. При этом наше владение инструментами недолговечно — мы теряем навык, если перестаём ими пользоваться на длительный срок. Поэтому естественно опасаться использования устаревших или проприетарных инструментов (применительно к data science — больших «S»), особенно потому, что они, скорее всего, непереносимы в другие роли. К тому же работа с хорошими инструментами делает её более приятной.

Some questions on the tooling:

Несколько вопросов об инструментах:

Какие ключевые инструменты команда использует в повседневной работе? Каков ваш технологический стек?

Org structure: The data science team rolls up to an unusual C-level. Previously, I interviewed with a scale-up that was planning to IPO (and did IPO at the end of 2021). There, the data science team reported directly to the CFO. With some probing, I got the sense that the DS team mostly worked on preparing investor reports and tracking financial metrics, with the overall goal of the IPO. This was a red flag for me.

Оргструктура: дата-команда подчиняется необычному C-level-руководителю. Ранее я проходил собеседование в скейл-апе, который планировал IPO (и провёл IPO в конце 2021 года). Там дата-команда подчинялась напрямую CFO. Немного покопавшись, я понял, что команда DS в основном занималась подготовкой отчётов для инвесторов и отслеживанием финансовых метрик с общей целью — IPO. Для меня это был красный флаг.

While there isn’t a definitive C-level for the data team to report to, I’ve seen organizations where data team rolled up to CTO or CIO or VP Eng that seem to work well. If the org has a CDO, that would be ideal. I would be concerned if data team reported to the CFO or CMO.

Хотя нет однозначного C-level-руководителя, которому должна подчиняться дата-команда, я видел организации, где дата-команда подчинялась CTO, CIO или VP Eng, и это, кажется, работало хорошо. Если в организации есть CDO — это было бы идеально. Меня бы насторожило, если бы дата-команда подчинялась CFO или CMO.

Questions to ask on org structure:

Вопросы, которые стоит задать об оргструктуре:

Кому подчиняется команда data science? Кто основные стейкхолдеры команды data science?

Iteration speed: The team moves too fast/slow for your liking. I’ve been on teams where you can deploy a new model in minutes and run an AB test every two weeks, and I’ve been on teams where deployment meant several people nursing the pipeline overnight, with little to no AB testing throughout the year. The former allows rapid experimentation, learning, and growth, while the latter leads to friction, sluggishness, and stagnation.

Скорость итераций: команда движется слишком быстро/медленно на ваш вкус. Я работал в командах, где новую модель можно задеплоить за минуты и запускать AB-тест каждые две недели, и я работал в командах, где деплой означал, что несколько человек всю ночь нянчатся с пайплайном, при почти полном отсутствии AB-тестов в течение года. Первое позволяет быстро экспериментировать, учиться и расти, тогда как второе ведёт к трению, медлительности и застою.

That said, I know data scientists who have no qualms with spending several months on research and only validating their hypotheses after a year or two. You know yourself best; pick a pace that aligns with how fast you want to iterate.

При этом я знаю дата-сайентистов, которых совершенно не смущает потратить несколько месяцев на исследования и проверить свои гипотезы лишь спустя год-два. Вы лучше всех знаете себя; выбирайте темп, который соответствует тому, насколько быстро вы хотите итерировать.

Questions to get a sense of the team’s iteration rate:

Вопросы, чтобы понять темп итераций команды:

Что команда выпустила последним? Сколько времени это заняло? Сколько AB-тестов команда провела за последний месяц или квартал? Каковы были результаты?

• • •

• • •

You might ask, how do I find time for all these questions, especially if I only have time for questions in the last 5 - 10 minutes of each interview?

Вы можете спросить: как мне найти время на все эти вопросы, особенно если на вопросы есть лишь последние 5–10 минут каждого собеседования?

First, you don’t have to ask all the questions—focus on what’s important to you. It’s hard to find a role that doesn’t have any red flags and has great compensation, work-life balance, etc.; so manage your expectations.

Во-первых, вам не обязательно задавать все вопросы — сосредоточьтесь на том, что важно именно для вас. Сложно найти роль, в которой нет ни одного красного флага и при этом отличная компенсация, баланс работы и жизни и т. д.; так что управляйте своими ожиданиями.

Second, you can ask for follow-up chats with the hiring manager, and another member of the team, where you can reverse interview them. There’s little to lose from this request and what you learn can either help you dodge a bullet or set you up for success in your new role.

Во-вторых, вы можете попросить о дополнительных созвонах с нанимающим менеджером и ещё одним членом команды, где сможете провести обратное интервью с ними. От такой просьбы почти нечего терять, а то, что вы узнаете, поможет либо увернуться от пули, либо настроиться на успех на новой роли.

Thanks to Yang Xinyi for reading drafts of this.

Спасибо Yang Xinyi за прочтение черновиков.

If you found this useful, please cite this write-up as:

Если это оказалось вам полезным, пожалуйста, ссылайтесь на эту заметку так:

Yan, Ziyou. (Feb 2022). Red Flags to Look Out for When Joining a Data Team. eugeneyan.com. https://eugeneyan.com/writing/red-flags/.

Yan, Ziyou. (Feb 2022). Red Flags to Look Out for When Joining a Data Team. eugeneyan.com. https://eugeneyan.com/writing/red-flags/.

or

или

@article{yan2022redflag, title = {Red Flags to Look Out for When Joining a Data Team}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2022}, month = {Feb}, url = {https://eugeneyan.com/writing/red-flags/} }

@article{yan2022redflag, title = {Red Flags to Look Out for When Joining a Data Team}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2022}, month = {Feb}, url = {https://eugeneyan.com/writing/red-flags/} }

Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.

Присоединяйтесь к 11 800+ читателям, которые получают обновления о машинном обучении, RecSys, LLM и инженерии.