Manipular modelos de IA para difundir desinformación médica es más fácil de lo que se pensaba
Los chatbots de inteligencia artificial enfrentan riesgos de desinformación médica, afectando potencialmente la salud pública, según un reciente estudio de la Universidad de Nueva York.
Los chatbots de inteligencia artificial (IA) están enfrentando un serio problema de desinformación que podría tener implicaciones peligrosas en el ámbito médico. Un estudio reciente revela que es relativamente fácil manipular la salida de estos modelos al incorporar información médica errónea en sus datos de entrenamiento. Investigadores de la Universidad de Nueva York llevaron a cabo una simulación de un ataque de envenenamiento de datos, donde utilizaron un servicio de OpenAI para generar 150,000 artículos con desinformación médica sobre temas variados, como medicina general y medicamentos.
Estos artículos falsos fueron luego introducidos en un conjunto experimental de datos de entrenamiento, con el que entrenaron seis modelos de lenguaje de gran tamaño. Los resultados fueron alarmantes: cuando se reemplazó apenas el 0.5% de los datos de entrenamiento con desinformación médica, los modelos envenenados comenzaron a generar contenido perjudicial, descalificando, por ejemplo, la efectividad de las vacunas contra el COVID-19 y la utilidad de ciertos antidepresivos.
Además, los investigadores encontraron que corruptos tan solo el 0.001% de los datos con desinformación sobre vacunas incrementaba casi un 5% la cantidad de contenido dañino generado por los modelos. Estos ataques, accesibles y preocupantes, podrían llevarse a cabo con inversiones mínimas, estimándose que se pueden realizar por menos de $1,000.
Ante esta amenaza, se ha desarrollado un algoritmo de verificación de hechos que puede detectar más del 90% de la desinformación médica producida por los modelos comprometidos. Sin embargo, los investigadores advierten que esta solución debe considerarse como un parche temporal y no como una solución definitiva. Para mitigar riesgos en la atención al paciente, proponen que los ensayos controlados aleatorizados sean el estándar para la implementación de chatbots médicos.
La preocupación por la desinformación en la atención médica se vuelve cada vez más crítica, y la comunidad científica sigue buscando caminos para asegurar que la IA no comprometa la seguridad de los pacientes.