Mejorar los modelos predictivos de atención sanitaria con IA generativa
Estudio de caso sobre detección de neumonía y estadificación del cáncer
Descripción general del proyecto
En el campo de la atención médica, que avanza rápidamente, el uso de IA generativa, en particular modelos de lenguaje extenso (LLM), para predecir estados de enfermedades a partir de informes clínicos marca un avance considerable. El cliente, un pionero en análisis de salud, se embarcó en una misión para refinar sus modelos de predicción de estados de enfermedades. Al aprovechar la base de datos de radiografías de tórax MIMIC de código abierto e incorporar predicciones de IA generativa para el análisis inicial, seguido de una validación manual con Label Studio, el objetivo era aumentar la precisión y la confiabilidad del modelo para los análisis de informes clínicos, especialmente los informes de radiología.
Desafíos
La integración de predicciones de IA generativa en los flujos de trabajo de atención médica presentó numerosos desafíos:
Para garantizar el acceso a conjuntos de datos médicos de código abierto y alta calidad, como MIMIC-CXR, se requiere un riguroso proceso de acreditación que garantice el cumplimiento de las normas éticas y de privacidad.
Los resultados iniciales de los modelos de IA generativa ocasionalmente mostraron imprecisiones en las predicciones del estado de la enfermedad, lo que requirió verificaciones manuales para lograr una mayor precisión.
Clasificar con precisión los estados de enfermedad a partir del lenguaje matizado de los informes clínicos, especialmente cuando se utiliza IA generativa, planteó un obstáculo importante.
Para garantizar anotaciones precisas y de alta calidad dentro de la herramienta Label Studio se requieren conocimientos especializados y comprensión de los estados de las enfermedades médicas.
Solución
Shaip empleó una estrategia integral para abordar estos desafíos:
- Credencialización optimizada: El equipo navegó rápidamente por el proceso de acreditación para el acceso a MIMIC-CXR, demostrando eficiencia y compromiso con las prácticas de investigación ética.
- Desarrollo de directrices: Desarrolló pautas útiles para validadores manuales para garantizar la coherencia y la calidad en la anotación de predicciones de LLM.
- Anotaciones de expertos sobre predicciones de IA: Se empleó una meticulosa validación manual y corrección de las predicciones de LLM utilizando Label Studio, respaldadas por experiencia médica.
- Con métricas de rendimiento: A través de un análisis detallado, Shaip calculó las métricas de rendimiento de LLM, como la concordancia, la precisión, la recuperación y la puntuación F1, lo que permitió una mejora continua.
Resultado
- Precisión mejorada en la predicción de enfermedades a partir de informes radiológicos.
- Desarrollo creando verdad fundamental de alta calidad Conjunto de datos para el desarrollo futuro de productos y evaluación de predicciones de IA generativa.
- Comprensión mejorada de identificación del estado de la enfermedad, facilitando predicciones más confiables.
Caso de uso 1: Validación de modelos de aprendizaje automático
Escenario: Mejora de la precisión de la predicción de neumonía con IA generativa En este caso, un modelo de IA generativa examinó informes de radiografías de tórax para detectar signos de neumonía. Un informe que indicaba “Opacidad aumentada en el lóbulo inferior derecho, lo que sugiere un proceso infeccioso” provocó una clasificación inicial de “Incierto” por parte de la IA debido a la redacción ambigua del informe.
Proceso de validacion:
- Un experto médico examinó el informe dentro de Label Studio, concentrándose en el texto resaltado por la IA.
- Mediante la evaluación del contexto clínico y la aplicación de conocimientos radiológicos, el experto reclasificó el informe como definitivo “Positivo” para neumonía.
- Esta corrección experta se integró nuevamente al modelo de IA, lo que facilitó su aprendizaje y refinamiento continuos.
Resultados:
- Precisión del modelo mejorada
- Mejorar la precisión y la recuperación de las métricas de rendimiento
Caso de uso 2: Generar un conjunto de datos de verdad fundamental
Escenario: Creación de un conjunto de datos de referencia para la estadificación TNM del cáncer con IA generativa
Con el objetivo de avanzar en el desarrollo de productos para la progresión del cáncer, el cliente buscó reunir un conjunto de datos de verdad fundamental integral. Este conjunto de datos serviría como referencia para el entrenamiento y la evaluación de nuevos modelos de IA para predecir con precisión la estadificación TNM del cáncer a partir de relatos clínicos.
Proceso de generación de conjuntos de datos:
- Se recopiló un amplio espectro de informes relacionados con el cáncer, incluidos hallazgos patológicos y descripciones generales de diagnósticos.
- El modelo de IA generativa proporcionó predicciones iniciales de estadificación TNM para cada informe, aprovechando sus patrones y conocimientos aprendidos.
- Los profesionales médicos revisaron estas predicciones generadas por IA para verificar su precisión, corregir errores y complementar la información en casos de predicciones de IA incompletas o incorrectas.
Resultados:
- Creación de un conjunto de datos de alta calidad sobre el terreno.
- Fundación para Productos Futuros para el perfeccionamiento de modelos de próxima generación sobre diagnóstico y estadificación del cáncer.
Trabajar con Shaip ha revolucionado nuestro enfoque de predicción de enfermedades. La precisión y la fiabilidad de nuestros modelos han mejorado significativamente con las anotaciones realizadas por los expertos de Shaip, gracias a su meticuloso proceso de validación.
