En la misma semana en que OpenAI está sacando su propio navegador web, ChatGPT Atlas, una nueva investigación de la Unión Europea de Radiodifusión (UER), encontró que los asistentes de IA “tergiversan rutinariamente el contenido de las noticias sin importar qué idioma, territorio o plataforma de IA se pruebe”.
La UER reunió a 22 organizaciones de medios de comunicación de servicio público en 18 países y 14 idiomas para evaluar 3.000 respuestas relacionadas con noticias de algunos de los chatbots de IA más utilizados. ChatGPT de OpenAI, Microsoft Copilot, Google Gemini y Perplexity se evaluaron en función de criterios clave como la precisión, el abastecimiento, la distinción de opiniones de los hechos y la provisión de contexto.
Las conclusiones del estudio son categóricas y nos hacen nuevamente poner un manto enorme de dudas en la IA.
¿No confiar? esa parece ser la cuestión
Los investigadores encontraron que el 45% de todas las respuestas incluían al menos un problema significativo, y el 81% presentaba un problema menor. El abastecimiento fue la principal causa de estos importantes problemas. De todas las respuestas, el 31% mostró serios problemas de abastecimiento como atribuciones faltantes, engañosas o incorrectas.
Un segundo lugar muy cercano fueron los principales problemas de precisión, que plagaron el 30% de las respuestas con detalles alucinados o información desactualizada. En un caso, ChatGPT afirmó que el Papa actual era el Papa Francisco, que había muerto un mes antes y ya había sido sucedido por el Papa León XIV. En otro caso, cuando se le preguntó a Copilot si el usuario debería preocuparse por la gripe aviar, respondió afirmando que se estaba llevando a cabo un ensayo de vacuna en Oxford; sin embargo, la fuente de esta información fue un artículo de la BBC de 2006.
Gemini fue el peor en noticias de los modelos probados. Los investigadores encontraron que tenía problemas en el 76% de sus respuestas, a más del doble de la tasa de los otros modelos. Copilot fue el siguiente peor con un 37%, seguido de ChatGPT con un 36% y Perplexity con un 30%.
“Esta investigación muestra de manera concluyente que estas fallas no son incidentes aislados”, dijo el miércoles el director de medios y director general adjunto de la UER, Jean Philip De Tender, en un comunicado de prensa. “Son sistémicos, transfronterizos y multilingües, y creemos que esto pone en peligro la confianza pública. Cuando la gente no sabe en qué confiar, termina sin confiar en nada en absoluto, y eso puede disuadir la participación democrática”.
Todo en la nueva época del GEO (optimización generativa de motores), reemplazante en ciernes del SEO y donde varios profesionales se están orientando a posicionar mejores respuestas y más específicas.
El uso de asistentes de IA para obtener noticias sigue siendo una actividad minoritaria, según el último informe del Instituto Reuters y la Universidad de Oxford, pero se ha duplicado desde el año pasado. El uso de IA para obtener noticias es más alto en el mundo en Argentina y Estados Unidos, y entre los jóvenes de 18 a 24 años, según el informe. Además de usar la IA para obtener noticias, un enorme 48% de los jóvenes de 18 a 24 años usaron IA para hacer que una historia sea más fácil de entender. Con los adultos mayores de 55+ años, el número seguía siendo alto en un 27%.
“Si los asistentes de IA aún no son una forma confiable de acceder a las noticias, pero muchos consumidores confían en que sean precisos, tenemos un problema”, escribieron los investigadores en un informe sobre el estudio. “Esto se ve exacerbado por los asistentes de IA y las experiencias de respuesta que reducen el tráfico a publicaciones confiables”.
