A principios de este año, una historia edificante detalló cómo una madre recurrió a ChatGPT y descubrió que su hijo sufría un trastorno neurológico raro, después de que más de una docena de médicos no identificaran el problema real. Gracias al chatbot de IA, la familia pudo acceder al tratamiento requerido y salvar una vida.
No todos los casos de evaluación médica de ChatGPT conducen a un resultado milagroso. Un informe ahora afirma que ChatGPT repartió consejos médicos engañosos y terminó dando a una persona una condición rara llamada intoxicación por bromuro, o bromismo, que conduce a varios problemas neuropsiquiátricos, como psicosis y alucinaciones.
Confíe en ChatGPT para que le transmita una enfermedad de hace un siglo.
Un informe publicado en Annals of Internal Medicine describe un caso que involucra a una persona que aterrizó en un hospital debido a un bronismo después de buscar consejo médico de ChatGPT con respecto a su salud. El caso es bastante interesante porque el individuo de 60 años expresó dudas de que su vecino lo estuviera envenenando discretamente.
Todo el episodio comenzó cuando la persona se encontró con informes que detallaban el impacto negativo del cloruro de sodio (también conocido como sal común). Después de consultar con ChatGPT, el individuo reemplazó la sal con bromuro de sodio, lo que finalmente condujo a la toxicidad del bromuro.
«Se observó que tenía mucha sed pero estaba paranoico con el agua que le ofrecían», dice el informe de investigación, y agrega que el paciente destilaba su propia agua y ponía múltiples restricciones sobre lo que consumía. La situación, sin embargo, empeoró pronto después de ser ingresado en un hospital y se realizaron evaluaciones.
«En las primeras 24 horas de ingreso, expresó una creciente paranoia y alucinaciones auditivas y visuales, que, después de intentar escapar, resultaron en una retención psiquiátrica involuntaria por discapacidad grave», agrega el informe.
No olvide al amable médico humano
El último caso de ChatGPT que pone a una persona en un aprieto es bastante asombroso, particularmente debido a la rareza de la situación. «El bromismo, la intoxicación crónica con bromuro, es rara y casi se ha olvidado», dice un artículo de investigación.
El uso de sales a base de bromo se remonta al siglo XIX, cuando se recomendaba para curar enfermedades mentales y neurológicas, especialmente en casos de epilepsia. En el siglo XX, el bromismo (o toxicidad del bromuro) era un problema bastante conocido. El consumo de sales de bromuro también se ha documentado como una forma de medicación para dormir.
Con el tiempo, se descubrió que el consumo de sales de bromuro conduce a problemas del sistema nervioso como delirios, falta de coordinación muscular y fatiga, aunque los casos graves se caracterizan por psicosis, temblores o incluso coma. En 1975, el gobierno de los Estados Unidos restringió el uso de bromuros en medicamentos de venta libre.
Ahora, el equipo médico que manejó el caso no pudo acceder a las conversaciones de ChatGPT del individuo, pero pudieron obtener respuestas similares preocupantemente engañosas en su prueba. OpenAI, por otro lado, cree que los bots de IA son el futuro de la atención médica.
«Cuando le preguntamos a ChatGPT 3.5 con qué se puede reemplazar el cloruro, también obtuvimos una respuesta que incluía bromuro. Aunque la respuesta indicó que el contexto importa, no proporcionó una advertencia de salud específica, ni preguntó por qué queríamos saber, como suponemos que haría un profesional médico», informó el equipo.
Sí, definitivamente hay casos en los que ChatGPT ha ayudado a una persona con problemas de salud, pero solo podemos esperar resultados positivos cuando la IA recibe un contexto detallado e información completa. Pero a pesar de eso, los expertos sugieren que se debe tener extrema precaución.
«La capacidad de ChatGPT (GPT-4.5 y GPT-4) para detectar el diagnóstico correcto fue muy débil para los trastornos raros», dice un artículo de investigación publicado en la revista Genes, y agrega que la consulta de ChatGPT no puede tomarse como un reemplazo de la evaluación adecuada por parte de un médico.
LiveScience se puso en contacto con OpenAI en torno al tema y obtuvo la siguiente respuesta: «No debe confiar en Output from our Services como única fuente de verdad o información objetiva, o como sustituto del asesoramiento profesional», y también destacó que «los equipos de seguridad de OpenAI tienen como objetivo reducir el riesgo de utilizar los servicios de la empresa y capacitar los productos para incitar a los usuarios a buscar asesoramiento profesional».
De hecho, una de las grandes promesas con el lanzamiento de GPT-5, el último modelo de ChatGPT de la compañía, fue tener menos momentos de inexactitud o alucinaciones, y estar más enfocado en ofrecer «finalizaciones seguras», donde los usuarios se alejan de respuestas potencialmente dañinas. Como dice OpenAI: «[Esto] le enseña al modelo a dar la respuesta más útil siempre que sea posible, sin dejar de mantener los límites de seguridad».
El mayor obstáculo, obviamente, es que el asistente de IA no puede investigar de manera confiable las características clínicas de un paciente. Solo cuando la IA es implementada en un entorno médico por profesionales de la salud certificados puede producir resultados confiables.
