Crear el modelo de aprendizaje automático no es suficiente

Los modelos de aprendizaje automático clínico y operativo están ganando terreno en los hospitales y sistemas de salud de todo el país, y los nuevos están evolucionando rápidamente.

Pero en este punto, el desafío no es tanto el desarrollo de nuevos modelos, sino la evaluación efectiva de su uso, dijeron los panelistas del Foro de Aprendizaje Automático e IA para la Salud de HIMSS. semana. (HIMSS es la empresa matriz de Healthcare IT News .)

«Como ha habido una explosión de datos, una explosión de software estándar que puede descargar, ha habido más y más equipos que simplemente descargan herramientas de aprendizaje de modelos para poder construir modelos preliminares «, dijo Suchi Saria, director del Laboratorio de Aprendizaje Automático y Atención Médica de la Universidad Johns Hopkins, durante una sesión de charla junto a la chimenea el martes con STAT News ‘Casey Ross.

«Lo que estamos viendo es que las personas crean un modelo preliminar, no saben cómo evaluarlo, porque tienen un modelo, piensan que es único «, dijo Saria.

En ausencia de evaluación, dijo, los equipos están tratando de poner en práctica modelos sin comprender cómo se ve el éxito.

Como investigador, Saria dijo que a menudo se puede requerir un esfuerzo astronómico mayor para comprender si un modelo funciona en un escenario del mundo real y cómo funciona.

«Se necesita mucha infraestructura y una rúbrica para poder hacer eso», dijo.

El trabajo de Saria en la identificación de la sepsis, por ejemplo, la expuso a las trampas más comunes cuando se trata de detectar signos de la enfermedad. A principios de este año, su empresa, Bayesian Health, publicó los resultados de un estudio de cinco sitios que muestra la alta sensibilidad y precisión de su módulo de sepsis .

«En cualquiera de estas áreas, cuando tienes que entrar y medir si algo está funcionando, tienes que recuperar la perspectiva científica», dijo. dicho.

«Con Bayesian, se trataba mucho del mundo real», agregó.

Saria señaló que la tecnología para desarrollar modelos es madura y que la tecnología para implementarlos también está en camino. Y cuando se trata de evaluar algoritmos, dijo: «Estas herramientas deben mantenerse; deben monitorearse continuamente».

Según Saria, todos deben participar en la supervisión de la tecnología, incluidas, entre otras, las agencias federales.

«Mi gran aliento es: que los líderes del sistema comiencen a aprender sobre esto. Asóciese con expertos que lo entiendan», dijo. «Además de eso, espero que la FDA también entre y asuma un papel».

También señaló la importancia de ser consciente de los sesgos al construir modelos basados ​​en un conjunto de datos diverso o de una amplia gama de fuentes.

«Es factible», dijo. «Pero se necesita más profundidad, ciencia y experiencia para hacerlo bien».

Kat Jercich es editora senior de Healthcare IT News.
Gorjeo : @ kjercich
Correo electrónico: kjercich@himss.org
Healthcare IT News es una publicación de HIMSS Media.

Lee mas

Deja un comentario

Tu dirección de correo electrónico no será publicada.