ChatGPT ya era una amenaza para la Búsqueda de Google, pero se suponía que la Búsqueda de ChatGPT lograría su victoria, además de ser una respuesta a la IA Perplexity. Pero según un estudio recientemente publicado por el Centro Tow de Periodismo Digital de Columbia, ChatGPT Search tiene dificultades para proporcionar respuestas precisas a las consultas de sus usuarios.
Los investigadores seleccionaron 20 publicaciones de cada una de las tres categorías: las que se asociaron con OpenAI para usar su contenido en los resultados de búsqueda de ChatGPT, las involucradas en demandas contra OpenAI y los editores no afiliados que han permitido o bloqueado el rastreador de ChatGPT.
Cuarenta de las citas fueron tomadas de publicaciones que actualmente utilizan OpenAI y no han permitido que su contenido sea raspado. Pero eso no impidió que ChatGPT Search alucinara con confianza una respuesta de todos modos.
«En total, ChatGPT devolvió respuestas parcial o totalmente incorrectas en ciento cincuenta y tres ocasiones, aunque solo reconoció la incapacidad de responder con precisión a una consulta siete veces», según el estudio. «Solo en esos siete resultados, el chatbot usó palabras y frases calificativas como ‘aparece’, ‘es posible’ o ‘podría’, o declaraciones como ‘no pude localizar el artículo exacto'».
La actitud arrogante de ChatGPT Search hacia decir la verdad podría dañar no solo su propia reputación, sino también la reputación de los editores que cita. En una prueba durante el estudio, la IA atribuyó erróneamente una historia de Time como escrita por el Orlando Sentinel. En otro, la IA no enlazó directamente a un artículo del New York Times, sino a un sitio web de terceros que había copiado el artículo de noticias al por mayor.
OpenAI, como era de esperar, argumentó que los resultados del estudio se debían a que Columbia hizo mal las pruebas.
«La atribución errónea es difícil de abordar sin los datos y la metodología que el Tow Center retuvo», dijo OpenAI a Columbia Journalism Review en su defensa, «y el estudio representa una prueba atípica de nuestro producto».
La compañía promete «seguir mejorando los resultados de búsqueda».
