Mailbag: Qns on the Intersection of Data Science and Business
Юджин Ян отвечает на письмо читателя V о пересечении data science и бизнеса. Он объясняет, что согласование бизнес-требований происходит на раннем этапе проекта, чтобы не тратить усилия на ненужные результаты. Клиенты сначала предпочитают понятные модели (регрессии, деревья решений), а доверие к black-box подходам приходит со временем. Автор редко прибегает к веб-скрейпингу из-за высокой стоимости очистки данных, а разделение ролей Data Engineering и Data Modelling зависит от зрелости команды — например, в StitchFix намеренно сохраняют универсальных data scientist'ов. На вопрос о пределе улучшения признаков он советует ограничивать работу по времени и оценивать стоимость прироста качества модели.
Почтовый ящик: вопросы на стыке data science и бизнеса
[ datascience 📬 ] · 3 мин чтения
V пишет (в ответ на этот пост):
Существует ли в DS этап согласования бизнес-требований? На какой стадии он происходит? В реальной DS-работе клиенты хотят больше интерпретируемых или «black box» методов? Нужно ли заниматься веб-скрейпингом, чтобы получить дополнительные данные в дополнение к клиентским? То есть в реальном бизнес-сценарии насколько часто используется веб-скрейпинг? В каких случаях бизнес разделяет Data Engineering и Data Modelling? Я предполагаю, что разделять эти две роли невыгодно, но могу ошибаться. Как понять, что я сделал всё возможное при создании осмысленных признаков и модель уже нельзя улучшить дальше?
Привет, V, это отличные вопросы, которые касаются пересечения data science и бизнеса! Рад, что ты об этом задумываешься.
Да, обычно есть набор требований. Я работаю с бизнесом, чтобы определить выгоду, которую они хотят получить (например, автоматизация процесса в 95% случаев, рост выручки и т. д.), и конечные результаты (например, API для категоризации товаров, рекомендательная система). Это делается на раннем этапе, чтобы не вкладывать усилия в то, что не будет использоваться. Зависит от ситуации. Поначалу клиенты могут хотеть что-то более понятное (например, регрессию, деревья решений), хотя уровень комфорта у людей разный. По мере того как мы завоёвываем их доверие, у нас появляется больше свободы, в том числе для использования более «black box» подходов. Я редко занимаюсь веб-скрейпингом. Считаю, что усилия на очистку таких данных обычно не оправданы. Если бы я всё же скрейпил, то использовал бы комбинацию Selenium и Python-библиотек (например, beautiful soup, spacy). Обычно это зависит от размера всей дата-команды. Чем больше и зрелее команда, тем больше тенденция к специализации — тогда роли и разделяются. Тем не менее некоторые команды (например, в StitchFix) намеренно сохраняют роль универсального data scientist, чтобы работать end-to-end. Сложно сказать, насколько «достаточно хорошо» — это достаточно хорошо. Это задача без чётких границ, почти как спрашивать, сколько мошенничества поймано — достаточно. Что я обычно делаю — это ограничиваю работу по времени: сколько стоит дополнительный прирост качества модели от лучших признаков? И от этого отталкиваюсь. Альтернативно можно действовать перебором и выполнять операции между каждой парой признаков (например, сложение, вычитание, умножение, деление), хотя это может привести к переобучению. Статистики по признакам тоже помогают.
Есть вопрос ко мне? С удовольствием отвечу на короткие вопросы по email по темам, в которых разбираюсь. Подробнее в How I Can Help.
Присоединяйтесь к 11 800+ читателям, получающим обновления о machine learning, RecSys, LLM и инженерии.