Imagínate poner tu nombre en ChatGPT para ver qué sabe de ti, solo para que afirme con confianza, pero erróneamente, que has sido encarcelado durante 21 años por asesinar a miembros de tu familia.
Bueno, eso es exactamente lo que le sucedió al noruego Arve Hjalmar Holmen el año pasado después de que se buscara a sí mismo en ChatGPT, el chatbot impulsado por IA ampliamente utilizado de OpenAI.
No es de extrañar que Holmen haya presentado una queja ante la Autoridad de Protección de Datos de Noruega, exigiendo que OpenAI sea multada por su angustiosa afirmación, informó la BBC esta semana.
En respuesta a la pregunta de Holmen sobre ChatGPT sobre sí mismo, el chatbot dijo que había «llamado la atención debido a un evento trágico».
Y continuó: «Era padre de dos niños pequeños, de 7 y 10 años, que fueron encontrados trágicamente muertos en un estanque cerca de su casa en Trondheim, Noruega, en diciembre de 2020. Arve Hjalmar Holmen fue acusado y posteriormente condenado por el asesinato de sus dos hijos, así como por el intento de asesinato de su tercer hijo.
El chatbot dijo que el caso «conmocionó a la comunidad local y a la nación, y fue ampliamente cubierto por los medios debido a su naturaleza trágica».
Pero nada de eso sucedió.
Comprensiblemente molesto por el incidente, Holmen le dijo a la BBC: «Algunos piensan que no hay humo sin fuego, el hecho de que alguien pueda leer este resultado y creer que es cierto es lo que más me asusta».
El grupo de derechos digitales Noyb ha presentado la denuncia en nombre de Holmen, afirmando que la respuesta de ChatGPT es difamatoria y contraviene las normas europeas de protección de datos con respecto a la exactitud de los datos personales. En su denuncia, Noyb dijo que Holmen «nunca ha sido acusado ni condenado por ningún delito y es un ciudadano consciente».
ChatGPT utiliza un descargo de responsabilidad que dice que el chatbot «puede cometer errores», por lo que los usuarios deben «verificar información importante». Pero el abogado de Noyb, Joakim Söderberg, dijo: «No se puede simplemente difundir información falsa y al final agregar un pequeño descargo de responsabilidad que diga que todo lo que dijo puede no ser cierto».
Si bien no es raro que los chatbots de IA escupan información errónea (tales errores se conocen como «alucinaciones»), la atrocidad de este error en particular es impactante.
Otra alucinación que llegó a los titulares el año pasado involucró a la herramienta AI Gemini de Google, que sugería pegar queso a la pizza con pegamento. También afirmaba que los geólogos habían recomendado que los humanos comieran una roca al día.
La BBC señala que ChatGPT ha actualizado su modelo desde la búsqueda de Holmen el pasado mes de agosto, lo que significa que ahora rastrea los artículos de noticias recientes a la hora de crear su respuesta. Pero eso no significa que ChatGPT esté creando ahora respuestas sin errores.
La historia destaca la necesidad de verificar las respuestas generadas por los chatbots de IA y no confiar ciegamente en sus respuestas. También plantea preguntas sobre la seguridad de las herramientas de IA generativa basadas en texto, que han operado con poca supervisión regulatoria desde que OpenAI abrió el sector con el lanzamiento de ChatGPT a fines de 2022.
