DataScience SG x ODSC Meetup - Applying ML to Healthcare

eugeneyan

eugeneyan

Начните здесь Статьи Выступления Прототипирование Обо мне

DataScience SG x ODSC Meetup - Applying ML to Healthcare

DataScience SG x ODSC Meetup — Применение ML в здравоохранении

[ machinelearning production ] · 4 min read

[ machinelearning production ] · 4 мин чтения

Having been in a healthtech startup for nearly a year and a half, it was long overdue for me to do a sharing at a meetup. I had previously shared on this at the DataX Conference in Singapore and wanted to share it at a meetup where anyone could attend.

Проработав почти полтора года в healthtech-стартапе, я уже давно был должен выступить на каком-нибудь митапе. Ранее я делился этим на конференции DataX в Сингапуре и хотел рассказать об этом на митапе, куда мог бы прийти любой желающий.

What’s the talk about?

О чём этот доклад?

The talk covers the architecture and end-to-end process that we took to build the machine learning system that is currently deployed in Southeast Asia’s largest hospital group (Parkway Pantai).

Доклад охватывает архитектуру и сквозной процесс, которые мы использовали для построения системы машинного обучения, развёрнутой сейчас в крупнейшей в Юго-Восточной Азии больничной группе (Parkway Pantai).

For this, I shared the case study of how uCare.ai helped develop a machine learning system for Parkway Pantai Group (Southeast Asia’s largest healthcare group) that estimates a patient’s total bill at the point of pre-admission.

Для этого я рассказал кейс о том, как uCare.ai помогла разработать систему машинного обучения для Parkway Pantai Group (крупнейшей медицинской группы в Юго-Восточной Азии), которая оценивает итоговый счёт пациента на этапе предварительной госпитализации.

Doing so provides greater transparency to patients, helping to reduce potential payment challenges at point of discharge. It also benefits providers where the improved transparency helps with patient experience and retention. Lastly, this is also a requirement by Singapore’s Ministry of Health.

Это обеспечивает большую прозрачность для пациентов, помогая снизить потенциальные сложности с оплатой при выписке. Это также выгодно медицинским учреждениям: повышенная прозрачность улучшает опыт пациентов и их удержание. Наконец, это требование Министерства здравоохранения Сингапура.

Intent of the talk

Цель доклада

For the talk, I wanted to share about how we were able to improve on the existing system that Parkway had, reducing the prediction error by half. The talk went into the nitty gritty details that included the overall architecture, how the code is organized, as well as details steps that included:

В докладе я хотел рассказать о том, как нам удалось улучшить существующую систему Parkway, вдвое снизив ошибку прогноза. Доклад вдавался в мельчайшие детали, включая общую архитектуру, организацию кода, а также подробные шаги, в число которых входили:

Валидация и приём данных; Подготовка данных; Инженерия признаков; Валидация модели перед развёртыванием; Машинное обучение; Развёртывание

Outcomes

Результаты

Overall, the system reduced mean absolute error by 55% and root mean squared error by 60%. It also reduced the percentage of underestimates (a key intent was to bias towards overestimation to better manage patient expectations).

В целом система снизила среднюю абсолютную ошибку на 55%, а среднеквадратичную ошибку — на 60%. Она также уменьшила долю занижений (одной из ключевых целей было смещение в сторону завышения, чтобы лучше управлять ожиданиями пациентов).

Rollout was easy and invisible to front-line users—the front-end remained the same while the backend was updated to call our API—who continued using an interface familiar to them.

Выкатка прошла легко и незаметно для конечных пользователей — фронтенд остался прежним, а бэкенд был обновлён для вызова нашего API, — и они продолжили пользоваться привычным интерфейсом.

Since the rollout, hospital administrators have indicated that there have been virtually zero complaints from staff and patients, a big improvement from the previous system.

С момента выкатки администраторы больниц отмечают, что жалоб от персонала и пациентов практически не было — это серьёзное улучшение по сравнению с предыдущей системой.

Key Takeaways

Ключевые выводы

There were a couple of key takeaways that I emphasized to the audience.

Было несколько ключевых выводов, на которых я сделал акцент для аудитории.

Firstly, building useful data products is a team effort. Looking at the architecture diagram above, you can see that data science is only part of it. Data engineers helped with the data encryption, transportation, and ETL. DevOps helped with taking the packaged models (e.g., pickle files, docker images) and deploying it. Infra helped with setting up the necessary cloud requirements (e.g., storage, compute, networks).

Во-первых, создание полезных продуктов на данных — это командная работа. Глядя на диаграмму архитектуры выше, можно увидеть, что data science — лишь её часть. Дата-инженеры помогли с шифрованием, передачей данных и ETL. DevOps помог взять упакованные модели (например, pickle-файлы, docker-образы) и развернуть их. Инфраструктурная команда помогла настроить необходимые облачные ресурсы (например, хранилище, вычисления, сети).

Given the above, it should be clear that machine learning made up only a small percentage of the effort, approximately ~20%. This is the opposite from what many laymen, academics, or people getting started in data science think—that machine learning is 80%. I hoped that the talk showed that the methodology (i.e., how to frame the problem for machine learning) and proper engineering (i.e., for deployment and operational maintenance) is more important instead.

С учётом сказанного должно быть очевидно, что машинное обучение составило лишь небольшую долю усилий — примерно ~20%. Это противоположно тому, что думают многие непрофессионалы, академики или новички в data science, — что машинное обучение составляет 80%. Я надеялся, что доклад показал: методология (то есть как сформулировать задачу для машинного обучения) и грамотная инженерия (то есть для развёртывания и эксплуатационного сопровождения) на самом деле важнее.

Conclusion

Заключение

From a technical perspective, a common failure I see in start-ups (and even some medium-sized enterprises) is to focus too much on applying machine learning on some batch data, usually CSVs, to achieve some (artificially) strong result that is likely overfitted and not replicable in production.

С технической точки зрения, частая ошибка, которую я вижу в стартапах (и даже в некоторых средних компаниях), — слишком сильно фокусироваться на применении машинного обучения к каким-то пакетным данным, обычно CSV-файлам, чтобы добиться некоего (искусственно) сильного результата, который, скорее всего, переобучен и не воспроизводим в продакшене.

Kaggle is a great example of this, where winning solutions comprise of complex ensembles that take days to train. I’m not saying that Kaggle is bad—it’s a great place to explore different solutions with clean data sets on different problem areas. Nonetheless, it’s quite divorced from the reality of production machine learning systems.

Kaggle — отличный пример этого, где победные решения состоят из сложных ансамблей, обучение которых занимает дни. Я не говорю, что Kaggle — это плохо: это отличное место, чтобы исследовать разные решения на чистых наборах данных в разных предметных областях. Тем не менее это довольно далеко от реальности продакшн-систем машинного обучения.

I hope that the talk helped provide greater understanding on the process of developing production-grade machine learning systems, and that organizations in Southeast Asia will be more effective at it.

Надеюсь, доклад помог глубже понять процесс разработки систем машинного обучения промышленного уровня и что организации в Юго-Восточной Азии будут делать это эффективнее.

Here’s the slides for those who are interested.

Вот слайды для тех, кому интересно.

If you found this useful, please cite this write-up as:

Если вам это было полезно, пожалуйста, цитируйте этот материал так:

Yan, Ziyou. (Oct 2019). DataScience SG x ODSC Meetup - Applying ML to Healthcare. eugeneyan.com. https://eugeneyan.com/speaking/machine-learning-in-production-for-healthcare-talk/.

Yan, Ziyou. (Oct 2019). DataScience SG x ODSC Meetup - Applying ML to Healthcare. eugeneyan.com. https://eugeneyan.com/speaking/machine-learning-in-production-for-healthcare-talk/.

or

или

@article{yan2019healthtech, title = {DataScience SG x ODSC Meetup - Applying ML to Healthcare}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2019}, month = {Oct}, url = {https://eugeneyan.com/speaking/machine-learning-in-production-for-healthcare-talk/} }

@article{yan2019healthtech, title = {DataScience SG x ODSC Meetup - Applying ML to Healthcare}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2019}, month = {Oct}, url = {https://eugeneyan.com/speaking/machine-learning-in-production-for-healthcare-talk/} }

Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.

Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, RecSys, LLM и инженерии.