Red Flags to Look Out for When Joining a Data Team

eugeneyan

Начните отсюда Статьи Выступления Прототипирование Обо мне

Красные флаги, на которые стоит обращать внимание при входе в дата-команду

[ datascience machinelearning career ] · 8 мин чтения

Ищете новые возможности в data science на этом перегретом рынке? Прежде чем принять оффер, вот несколько красных флагов, которых стоит опасаться. Хотя они даны с точки зрения data science, большинство из них применимо и к большинству ролей в техе.

Данные: данных нет, либо они плохо организованы и/или недоступны. Это может случиться, если вы присоединяетесь к стартапу, у которого ещё нет критической массы клиентов, или если это B2B-компания, которая полагается на данные от партнёров (например, поставщики ML-решений для здравоохранения, финтеха). Почти так же плохо, если данные у них есть, но они хранятся в разных форматах с разными схемами, что затрудняет их использование.

Без базовой инфраструктуры данных дата-сайентисту придётся вести тяжёлую борьбу, пытаясь приносить ценность через аналитику или машинное обучение. Большинство, скорее всего, будут измотаны рутиной сбора, организации, каталогизации данных и построения пайплайнов.

Несколько вопросов, чтобы выявить этот красный флаг:

Какие данные генерируются или собираются вашими системами? Какие ключевые объекты есть в ваших данных — например, клиенты, товары или транзакции, — и каково примерное число новых строк в день или в месяц? Как я, новый сотрудник, буду получать доступ к данным?

Роадмап: нет плана или плохой план того, как команда будет приносить ценность клиентам и бизнесу. Несколько лет назад на собеседовании я спросил директора по data science о его роадмапе на ближайшие 12 месяцев. Он долго рассказывал о том, как сосредоточен на росте команды, разнообразии и обновлении технологического стека. (Это был не тот ответ, который я искал.) Тогда я спросил конкретнее: как команда будет приносить пользу клиентам и бизнесу. К сожалению, ничего связного он ответить не смог — и для меня это был большой красный флаг.

Хотя в этом грешит не только data science, нам особенно легко совершить эту ошибку. Инженерия и продукт могут указать на конкретные фичи, которые улучшают клиентский опыт и влияют на итоговую прибыль. А data science может тратить слишком много времени на исследования без осязаемых результатов. Это допустимо, если вы в инновационной команде, но обычно у большинства компаний нет роскоши финансировать такую команду. И когда наступают трудные времена, команды, которые не вносят вклад в бизнес, скорее всего, сократят первыми. Кроме того, если вы практик, для вашей карьеры и резюме нездорово, когда проходит слишком много лет без результатов для клиентов или бизнеса.

Вопросы, которые стоит задать о роадмапе:

Как команда приносит ценность клиентам и бизнесу? Каков ваш роадмап и запланированные результаты на квартал? А на год? Как для команды выглядит успех? Каковы KPI команды?

Роль: несовпадение ожиданий по роли и правилам карьерного роста. В некоторых компаниях термин «data scientist» стал синонимом «data analyst». В августе 2017 года сообщество Reddit отметило, что дата-сайентисты в Facebook (ныне Meta) в основном выполняли работу аналитиков данных. Аналогично, в апреле 2018 года Lyft переименовал своих аналитиков данных в дата-сайентистов, объяснив, что терял кандидатов-аналитиков в пользу конкурентов, предлагавших роль data scientist.

С тех пор несколько компаний пошли тем же путём — вплоть до того, что их дата-сайентисты в основном строят пайплайны данных и дашборды. Суть в том, что название должности часто плохо отражает то, что представляет собой роль, и принятие оффера исключительно на основе названия может привести к несовпадению ожиданий, неудовлетворённости работой и в итоге к уходу. Поэтому не делайте предположений на основе названия должности и уточняйте, что именно подразумевает роль. (Ранее я делал сравнение ролей data, research и applied scientist.)

Если вы можете получить доступ к правилам продвижения в команде, подумайте, соответствуют ли они вашим устремлениям. Например, если вы предпочитаете строить простые, эффективные системы машинного обучения, а правила делают акцент на исследованиях и передовом уровне (state-of-the-art), вам, возможно, придётся делать отдельный проект для повышения, тем самым задерживая ваш рост. С другой стороны, если ваше предпочтение — исследования и публикации, а правила требуют опыта проектирования систем и инженерии, вы можете в какой-то момент оказаться в тупике.

Вопросы, которые стоит задать о роли и карьерном росте:

Что человек на этой роли должен сделать за первые 100 дней? А за первый год? Какими ключевыми навыками и моделями поведения обладают самые эффективные люди на этой роли? Как определяется и измеряется успех на этой роли? Что нужно продемонстрировать, чтобы перейти на следующий уровень?

Руководитель: некомпетентный, без видения, токсичный и т. д. У каждого из нас своя мерка того, что делает начальника хорошим. Точно так же то, что делает руководителя ужасным, у разных людей, вероятно, отличается. Поэтому сложно дать предписывающий совет, как прощупать этот красный флаг. Один из способов — попросить нанимающего менеджера поделиться контактами 2–3 человек, которые раньше работали с ним, — людей, которые могут говорить свободно, не опасаясь прямых последствий. Как вариант, поговорите с самым опытным сотрудником команды.

Вопросы, чтобы прощупать красные флаги по руководителю:

Каковы сильные и слабые стороны руководителя? Нравилось ли вам работать с этим руководителем? Почему да или почему нет? Как руководитель поддерживал команду и помогал ей расти? Понравилось бы (или нравилось ли) вам проводить время с руководителем в неформальной обстановке?

Инструменты: используются устаревшие или проприетарные инструменты, которые почти не переносятся в другие роли. Освоение новых инструментов до уровня продуктивности требует значительного времени и усилий. При этом наше владение инструментами недолговечно — мы теряем навык, если перестаём ими пользоваться на длительный срок. Поэтому естественно опасаться использования устаревших или проприетарных инструментов (применительно к data science — больших «S»), особенно потому, что они, скорее всего, непереносимы в другие роли. К тому же работа с хорошими инструментами делает её более приятной.

Несколько вопросов об инструментах:

Какие ключевые инструменты команда использует в повседневной работе? Каков ваш технологический стек?

Оргструктура: дата-команда подчиняется необычному C-level-руководителю. Ранее я проходил собеседование в скейл-апе, который планировал IPO (и провёл IPO в конце 2021 года). Там дата-команда подчинялась напрямую CFO. Немного покопавшись, я понял, что команда DS в основном занималась подготовкой отчётов для инвесторов и отслеживанием финансовых метрик с общей целью — IPO. Для меня это был красный флаг.

Хотя нет однозначного C-level-руководителя, которому должна подчиняться дата-команда, я видел организации, где дата-команда подчинялась CTO, CIO или VP Eng, и это, кажется, работало хорошо. Если в организации есть CDO — это было бы идеально. Меня бы насторожило, если бы дата-команда подчинялась CFO или CMO.

Вопросы, которые стоит задать об оргструктуре:

Кому подчиняется команда data science? Кто основные стейкхолдеры команды data science?

Скорость итераций: команда движется слишком быстро/медленно на ваш вкус. Я работал в командах, где новую модель можно задеплоить за минуты и запускать AB-тест каждые две недели, и я работал в командах, где деплой означал, что несколько человек всю ночь нянчатся с пайплайном, при почти полном отсутствии AB-тестов в течение года. Первое позволяет быстро экспериментировать, учиться и расти, тогда как второе ведёт к трению, медлительности и застою.

При этом я знаю дата-сайентистов, которых совершенно не смущает потратить несколько месяцев на исследования и проверить свои гипотезы лишь спустя год-два. Вы лучше всех знаете себя; выбирайте темп, который соответствует тому, насколько быстро вы хотите итерировать.

Вопросы, чтобы понять темп итераций команды:

Что команда выпустила последним? Сколько времени это заняло? Сколько AB-тестов команда провела за последний месяц или квартал? Каковы были результаты?

• • •

Вы можете спросить: как мне найти время на все эти вопросы, особенно если на вопросы есть лишь последние 5–10 минут каждого собеседования?

Во-первых, вам не обязательно задавать все вопросы — сосредоточьтесь на том, что важно именно для вас. Сложно найти роль, в которой нет ни одного красного флага и при этом отличная компенсация, баланс работы и жизни и т. д.; так что управляйте своими ожиданиями.

Во-вторых, вы можете попросить о дополнительных созвонах с нанимающим менеджером и ещё одним членом команды, где сможете провести обратное интервью с ними. От такой просьбы почти нечего терять, а то, что вы узнаете, поможет либо увернуться от пули, либо настроиться на успех на новой роли.

Спасибо Yang Xinyi за прочтение черновиков.

Если это оказалось вам полезным, пожалуйста, ссылайтесь на эту заметку так:

Yan, Ziyou. (Feb 2022). Red Flags to Look Out for When Joining a Data Team. eugeneyan.com. https://eugeneyan.com/writing/red-flags/.

или

@article{yan2022redflag, title = {Red Flags to Look Out for When Joining a Data Team}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2022}, month = {Feb}, url = {https://eugeneyan.com/writing/red-flags/} }

Присоединяйтесь к 11 800+ читателям, которые получают обновления о машинном обучении, RecSys, LLM и инженерии.