Hace unas semanas, un investigador médico informó de un caso bastante curioso de error médico inducido por IA, detallando el caso de una persona que consultó a ChatGPT y entró en una espiral psicótica debido a una intoxicación por bromuro. Tales preocupaciones han sido planteadas por los expertos desde hace un tiempo, y parece que OpenAI tiene como objetivo contrarrestarlas con un modo ChatGPT dedicado para el asesoramiento médico.
La gran esperanza
Tibor Blaho, ingeniero de la empresa AIPRM, centrada en la IA, compartió un fragmento interesante que detectaron en el código de la aplicación web de ChatGPT. Las cadenas mencionan una nueva función llamada “Modo clínico”. El código no entra en detalles sobre cómo funciona, pero parece un modo dedicado para buscar consejos relacionados con la salud, tal como se implementan las barandillas de seguridad para las cuentas de adolescentes.
En particular, OpenAI no ha hecho ningún anuncio oficial sobre ninguna característica de este tipo, así que tome esta noticia con la proverbial pizca de sal. Pero hay algunas teorías flotando sobre cómo podría funcionar. Justin Angel, un desarrollador que es un nombre familiar en la comunidad de Apple y Windows, compartió en X que podría ser un modo protegido que limite la fuente de información a los trabajos de investigación médica.
Por ejemplo, si busca algún consejo médico relacionado con problemas o síntomas de bienestar, ChatGPT solo le dará una respuesta basada en la información que haya extraído de fuentes médicas confiables. De esa manera, hay menos posibilidades de que ChatGPT reparta consejos engañosos relacionados con la salud.
La cruda realidad
La idea detrás de algo como el “Modo clínico” no es demasiado descabellada. Hace apenas un día, Consensus lanzó una función llamada “Modo médico”. Cuando se envía una consulta relacionada con la salud, la IA conversacional busca respuestas “exclusivamente en evidencia médica de la más alta calidad”, un corpus que incluye más de ocho millones de artículos y miles de pautas clínicas examinadas. El enfoque suena seguro en la superficie, pero los riesgos persisten.
Un artículo publicado en la revista Scientific Reports el mes pasado destacó las trampas de impulsar ChatGPT en el contexto médico. “Se debe tener precaución y proporcionar educación a colegas y pacientes con respecto al riesgo de alucinaciones y la incorporación de jerga técnica que puede hacer que los resultados sean difíciles de interpretar”, advirtió el documento. Pero parece que la industria se está moviendo constantemente hacia la IA.
La Escuela de Medicina de Stanford está probando un software impulsado por IA llamado ChatEHR que permite a los médicos interactuar con los registros médicos de una manera más conversacional. OpenAI también probó un “asistente médico de IA” en asociación con Penda Health hace unos meses y anunció que la herramienta redujo las posibilidades de error de diagnóstico en un margen del 16%.
