Tech in Asia - My Journey in Data Science and Advice for others
Кристофер, управляющий партнёр Tri5 Ventures, взял у автора интервью для статьи «The Life of a Data Scientist», опубликованной на Tech in Asia, где четыре сингапурских специалиста по данным рассказывают, как данные меняют жизнь людей. Здесь автор приводит свои полные ответы. Интерес к восприятию и поведению человека привёл его к психологии, статистике и машинному обучению; после работы в команде Workforce Analytics в IBM он в 2015 году присоединился к команде Data Science в Lazada. Он развенчивает мифы: машинное обучение — это лишь около 20% работы, тогда как ~50% уходит на понимание и подготовку данных, а ещё ~30% — на POC, валидацию/AB-тесты и развёртывание; одной лишь технической виртуозности недостаточно — важно глубоко понимать проблемы, проектировать сквозные решения и убедительно доносить идеи. В Lazada data science помогала с сегментацией, автоматизацией процессов, рекомендациями и ранжированием, а в свободное время автор экспериментировал с глубоким обучением для категоризации и поиска изображений. Он отмечает, что стал более скептичным к утверждениям без данных, и даёт советы начинающим специалистам.
Tech in Asia — Мой путь в data science и советы для других
[ datascience career ] · 4 мин чтения
Недавно Кристофер, управляющий партнёр в Tri5 Ventures, обратился ко мне за интервью о «Жизни специалиста по данным». Цель — поделиться знаниями и наблюдениями с теми, кто стремится войти в эту сферу, или с теми, кто уже занимается data science.
Статья была опубликована неделю назад на Tech in Asia и доступна здесь: «4 специалиста по данным из Сингапура рассказывают, как данные влияют на жизнь». В ней представлены профессионалы в data science с разным бэкграундом, включая исследователей, предпринимателей и стартапы.
Несколько человек спросили, могу ли я подробнее раскрыть то, чем поделился в статье, поэтому я воспроизвожу здесь свои полные ответы Кристоферу.
Что заставило вас решить строить карьеру в data science?
TL; DR: Мой интерес к пониманию человеческого восприятия и поведения привёл меня к психологии, статистике и машинному обучению. С этими навыками я в 2015 году присоединился к команде Data Science в Lazada.
Ух, не могу вспомнить, когда меня в последний раз об этом спрашивали.
Ещё со студенческих лет (когда я изучал психологию и статистику) мне было интересно, как люди воспринимают, мыслят и ведут себя. Это требовало измерения восприятия (опросы и т. п.), поведения (действия и т. п.) и результатов, а также построения выводов. Другими словами — данных и статистики.
Затем мне выпала возможность применить это в команде Workforce Analytics в IBM, где мы построили внутренний движок рекомендаций вакансий для сотрудников и отслеживали результаты. Цель состояла в том, чтобы помочь людям расти в карьере, повысить вовлечённость и эффективность на работе и снизить текучесть кадров.
По ходу дела я заинтересовался машинным обучением и освоил его. Статистика помогает нам понимать исторические данные и делать выводы; машинное обучение помогает учиться на исторических данных и делать прогнозы.
Затем мне выпала возможность присоединиться к команде data science в Lazada в 2015 году — благодаря Kai Xin и John. Я не уверен точно, когда началась моя карьера в data science, но, полагаю, ею стал именно приход в Lazada Data Science.
Какие 1–2 мифа о data science стоит развеять?
Миф: Машинное обучение — это 80% работы (это уже клишированный миф?) Правда: Машинное обучение — это примерно 20%.
Около 50% — это понимание данных, разведка, очистка, подготовка, конструирование признаков. Ещё 30% времени уходит на создание POC, валидацию/AB-тестирование, разработку API, развёртывание и т. д.
Примечание: приведённое выше распределение уникально для каждого специалиста по данным, но примерно так распределяется моё время.
Миф: Мне нужно (только) быть техническим виртуозом. Правда: Быть техническим виртуозом помогает, особенно с тем, что я перечислил выше, — но этого недостаточно, чтобы действительно оказать влияние. Вам также нужно уметь:
Выявлять и глубоко понимать проблемы (в чём первопричина? не лечим ли мы только симптомы?) Проектировать сквозные решения (нет толку, если вы создали нечто потрясающее, но люди не могут этим пользоваться) Эффективно доносить идеи и убеждать (если люди не понимают или не доверяют этому, они не будут этим пользоваться)
Простой график того, как распределяется моё время, — здесь.
Каких достижений добилась data science? Есть ли интересные проекты, которыми вы хотели бы поделиться? Это могут быть как внешние проекты, так и те, которыми вы занимались ранее.
Внутри Lazada data science помогла несколькими способами, в том числе:
Лучшее понимание покупателей/продавцов/товаров через сегментацию, создание профилей и т. п. Автоматизация и масштабирование процессов для снижения затрат (например, машинное обучение для категоризации товаров, разрешения сущностей и т. д.) Улучшение бизнес-показателей (например, рекомендации, ранжирование и т. д.) Помощь стейкхолдерам с данными (например, поддержка AB-тестирования, глубокий анализ данных и т. д.)
В свободное время я экспериментировал с использованием глубокого обучения для того, чтобы:
Возможности кажутся безграничными, и есть масса шансов использовать данные, чтобы создавать положительное влияние и улучшать жизнь людей.
Какова жизнь специалиста по данным? Изменилось ли ваше восприятие жизни, раз вы постоянно опираетесь на данные?
Это довольно широкий вопрос.
Если вы спрашиваете о том, как распределяется моё время, вот график, который я составил какое-то время назад.
К счастью, я по-прежнему провожу бóльшую часть времени за практическим кодированием.
Если вы спрашиваете об удовлетворённости жизнью, то я вполне доволен. Моя миссия — использовать данные, чтобы создавать положительное влияние и улучшать жизнь людей, и работа специалиста по данным позволяет мне этого достигать.
Изменилось ли моё восприятие? Да, пожалуй.
Иногда я не могу не смотреть на вещи в окружающем мире и не задумываться о том, как их измерить и использовать данные для улучшения результатов.
Я также стал немного более скептичен к утверждениям, которые делают люди, и склонен быть консервативным и осторожным, когда за утверждением нет данных.
Есть ли у вас какой-нибудь совет для начинающих специалистов по данным?
Я получал этот вопрос множество раз — настолько часто, что задокументировал ответ здесь, на своём сайте. Там описаны некоторые инструменты и навыки, где их изучать и как их практиковать.
Если вы нашли это полезным, пожалуйста, цитируйте эту заметку так:
Yan, Ziyou. (Jul 2017). Tech in Asia - My Journey in Data Science and Advice for others. eugeneyan.com. https://eugeneyan.com/speaking/my-sharing-with-tech-in-asia-talk/.
или
@article{yan2017asia, title = {Tech in Asia - My Journey in Data Science and Advice for others}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2017}, month = {Jul}, url = {https://eugeneyan.com/speaking/my-sharing-with-tech-in-asia-talk/} }
Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, RecSys, LLM и инженерии.