DATAx - A Production ML system for SEA's Biggest Hospital Group
Юджин Ян рассказывает о выступлении на конференции DATAx, где представил кейс uCare.ai и Parkway Pantai Group — крупнейшей сети больниц Юго-Восточной Азии. Команда разработала ML-систему, которая прогнозирует итоговую сумму счёта пациента ещё на этапе пред-госпитализации, что повышает прозрачность и снижает споры при выписке. Новая модель сократила среднюю абсолютную ошибку на 55% и корень среднеквадратичной ошибки на 60% по сравнению с прежней системой Parkway. Внедрение прошло незаметно для медперсонала: фронтенд не изменился, а бэкенд стал обращаться к новому API, и жалоб практически не поступало. Главный вывод доклада — машинное обучение составляет лишь около 20% работы; остальное приходится на инженеров данных, DevOps и инфраструктуру, а ключевую роль играют постановка задачи и грамотный деплой.
DATAx - A Production ML system for SEA's Biggest Hospital Group
DATAx — продакшен-ML-система для крупнейшей больничной сети Юго-Восточной Азии
[ production machinelearning ] · 4 мин чтения
I was humbled to be invited by DATAx to share at their conference. They were looking for a hands-on Applied Scientist to share about how data science and machine learning could be applied in healthcare and I was happy to help.
Для меня было большой честью получить приглашение от DATAx выступить на их конференции. Они искали практикующего Applied Scientist, который рассказал бы о применении data science и машинного обучения в здравоохранении, и я был рад помочь.
For this, I shared the case study of how uCare.ai helped develop a machine learning system for Parkway Pantai Group (Southeast Asia’s largest healthcare group) that estimates a patient’s total bill at the point of pre-admission.
Я представил кейс о том, как uCare.ai помогла разработать ML-систему для Parkway Pantai Group (крупнейшая медицинская группа Юго-Восточной Азии), которая оценивает итоговый счёт пациента ещё на этапе пред-госпитализации.
Doing so provides greater transparency to patients, helping to reduce potential payment challenges at point of discharge. It also benefits providers where the improved transparency helps with patient experience and retention. Lastly, this is also a requirement by Singapore’s Ministry of Health.
Это обеспечивает большую прозрачность для пациентов и помогает снизить потенциальные проблемы с оплатой в момент выписки. Это также выгодно поставщикам услуг: повышенная прозрачность улучшает клиентский опыт и удержание. Наконец, это требование Министерства здравоохранения Сингапура.
Healthcare expenditure is set to rise over the coming years. Cost will undoubtedly influence patients’ decision-making when it comes to diagnosis and treatment.
Расходы на здравоохранение в ближайшие годы будут расти. Стоимость, несомненно, будет влиять на решения пациентов о диагностике и лечении.
For healthcare providers, providing up-front cost estimates improves patient experience, making patients more willing to return (if required) in the future. For patients, having accurate pre-admission estimates allow for informed decisions and adequate preparation, reducing payment challenges after treatment. Ultimately, this case is a first step towards (i) standardization of healthcare cost estimation and (ii) price transparency to build trust between healthcare providers, payers, and patients.
Для медицинских учреждений предварительная оценка расходов улучшает клиентский опыт и повышает вероятность повторного обращения. Для пациентов точная оценка ещё до госпитализации даёт возможность принимать осознанные решения и адекватно подготовиться, снижая проблемы с оплатой после лечения. В конечном счёте этот кейс — первый шаг к (i) стандартизации оценки стоимости медицинских услуг и (ii) ценовой прозрачности для укрепления доверия между медучреждениями, плательщиками и пациентами.
In this talk, UCARE.AI will share about how we developed an automated and scalable system to predict hospitalization costs at pre-admission (e.g., without rich data, like measurements, final outcomes, etc.) We’ll go through our (i) methodology, (ii) useful features, (iii) tech stack, (iv) challenges and how we resolved them.
В этом докладе UCARE.AI расскажет, как мы разработали автоматизированную и масштабируемую систему прогнозирования стоимости госпитализации на этапе пред-госпитализации (то есть без обширных данных вроде измерений, итоговых исходов и т. д.). Мы пройдёмся по (i) методологии, (ii) полезным признакам, (iii) техническому стеку, (iv) трудностям и тому, как мы их преодолели.
Prerequisite knowledge
Необходимые предварительные знания
Базовое понимание устройства больниц и процессов (то есть вы хотя бы раз были в больнице). Базовое понимание DS-проектов от начала до конца — от планирования до сдачи. Базовое понимание облачных технологий, архитектуры и моделей развёртывания.
What you’ll learn
Что вы узнаете
Как использовать данные для понимания состояния пациентов и прогнозирования затрат. Как мы вместе с Parkway планировали, разрабатывали и развёртывали ML-систему продакшен-уровня. Как мы преодолевали трудности, плюс полезные приёмы и хитрости.
Intent of the talk
Цель доклада
For the talk, I wanted to share about how we were able to improve on the existing system that Parkway had, reducing the prediction error by half. The talk went into the nitty gritty details that included the overall architecture, how the code is organized, as well as details steps that included:
В докладе я хотел рассказать, как нам удалось улучшить существующую систему Parkway, вдвое снизив ошибку прогноза. Доклад вошёл в технические детали: общая архитектура, организация кода, а также пошаговые этапы, включающие:
Валидация и приём данных. Подготовка данных. Feature engineering. Валидация модели перед деплоем. Машинное обучение. Деплой.
Outcomes
Результаты
Overall, the system reduced mean absolute error by 55% and root mean squared error by 60%. It also reduced the percentage of underestimates (a key intent was to bias towards overestimation to better manage patient expectations).
В целом система сократила среднюю абсолютную ошибку на 55%, а корень среднеквадратичной ошибки — на 60%. Также снизилась доля заниженных оценок (одной из ключевых задач было сместить смещение в сторону завышения, чтобы лучше управлять ожиданиями пациентов).
Rollout was easy and invisible to front-line users—the front-end remained the same while the backend was updated to call our API—who continued using an interface familiar to them.
Раскатка прошла легко и незаметно для конечных пользователей: интерфейс остался прежним, а бэкенд был обновлён так, чтобы обращаться к нашему API; сотрудники продолжали работать в привычном им интерфейсе.
Since the rollout, hospital administrators have indicated that there have been virtually zero complaints from staff and patients, a big improvement from the previous system.
После раскатки администраторы больниц сообщают, что жалоб от персонала и пациентов практически не поступает — это большое улучшение по сравнению с прежней системой.
Key Takeaways
Ключевые выводы
There were a couple of key takeaways that I emphasized to the audience.
Я выделил для аудитории несколько ключевых тезисов.
Firstly, building useful data products is a team effort. Looking at the architecture diagram above, you can see that data science is only part of it. Data engineers helped with the data encryption, transportation, and ETL. DevOps helped with taking the packaged models (e.g., pickle files, docker images) and deploying it. Infra helped with setting up the necessary cloud requirements (e.g., storage, compute, networks).
Во-первых, создание полезных data-продуктов — это командная работа. Если посмотреть на диаграмму архитектуры выше, видно, что data science — это лишь часть. Data-инженеры помогали с шифрованием данных, их передачей и ETL. DevOps занимался деплоем упакованных моделей (например, pickle-файлов, docker-образов). Инфраструктурная команда настраивала всё необходимое в облаке (хранилище, вычисления, сети).
Given the above, it should be clear that machine learning made up only a small percentage of the effort, approximately ~20%. This is the opposite from what many laymen, academics, or people getting started in data science think—that machine learning is 80%. I hoped that the talk showed that the methodology (i.e., how to frame the problem for machine learning) and proper engineering (i.e., for deployment and operational maintenance) is more important instead.
С учётом сказанного должно быть очевидно, что машинное обучение составляло лишь небольшую долю усилий — примерно ~20%. Это противоположно тому, что часто думают непрофессионалы, академики или новички в data science: что машинное обучение — это 80%. Я надеялся, что доклад показал: гораздо важнее методология (то есть как сформулировать задачу под машинное обучение) и грамотный инжиниринг (для деплоя и эксплуатационной поддержки).
Conclusion
Заключение
From a technical perspective, a common failure I see in start-ups (and even some medium-sized enterprises) is to focus too much on applying machine learning on some batch data, usually CSVs, to achieve some (artificially) strong result that is likely overfitted and not replicable in production.
С технической точки зрения, распространённая ошибка, которую я вижу в стартапах (и даже в некоторых средних компаниях), — слишком сильно фокусироваться на применении машинного обучения к пакетным данным, обычно CSV-файлам, ради достижения (искусственно) сильного результата, который, скорее всего, переобучен и не воспроизводится в продакшене.
Kaggle is a great example of this, where winning solutions comprise of complex ensembles that take days to train. I’m not saying that Kaggle is bad—it’s a great place to explore different solutions with clean data sets on different problem areas. Nonetheless, it’s quite divorced from the reality of production machine learning systems.
Kaggle — отличный пример этого: победные решения состоят из сложных ансамблей, которые обучаются днями. Я не говорю, что Kaggle — это плохо; это отличное место, чтобы исследовать разные подходы на чистых датасетах в разных предметных областях. Тем не менее это довольно далеко от реальности продакшен-систем машинного обучения.
I hope that the talk helped provide greater understanding on the process of developing production-grade machine learning systems, and that organizations in Southeast Asia will be more effective at it.
Надеюсь, доклад помог лучше понять процесс разработки ML-систем продакшен-уровня и что организации в Юго-Восточной Азии станут эффективнее в этом.
Slides
Слайды
If you found this useful, please cite this write-up as:
Если эта заметка оказалась полезной, ссылайтесь на неё так:
Yan, Ziyou. (Mar 2019). DATAx - A Production ML system for SEA's Biggest Hospital Group. eugeneyan.com. https://eugeneyan.com/speaking/machine-learning-largest-hospital-group-talk/.
Yan, Ziyou. (Mar 2019). DATAx - A Production ML system for SEA's Biggest Hospital Group. eugeneyan.com. https://eugeneyan.com/speaking/machine-learning-largest-hospital-group-talk/.
or
или
@article{yan2019hospital,
title = {DATAx - A Production ML system for SEA's Biggest Hospital Group},
author = {Yan, Ziyou},
journal = {eugeneyan.com},
year = {2019},
month = {Mar},
url = {https://eugeneyan.com/speaking/machine-learning-largest-hospital-group-talk/}
}
@article{yan2019hospital, title = {DATAx - A Production ML system for SEA's Biggest Hospital Group}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2019}, month = {Mar}, url = {https://eugeneyan.com/speaking/machine-learning-largest-hospital-group-talk/} }
Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.
Присоединяйтесь к 11 800+ читателей, получающих обновления о машинном обучении, RecSys, LLM и инжиниринге.