A pesar de toda la emoción en torno a ChatGPT y chatbots similares impulsados por IA, las herramientas basadas en texto todavía tienen algunos problemas graves que deben resolverse.
Entre ellos está su tendencia a inventar cosas y presentarlas como un hecho cuando no sabe la respuesta a una pregunta, un fenómeno que se conoce como “alucinante”. Como puede imaginar, presentar falsedades como hechos a alguien que usa uno de la nueva ola de poderosos chatbots podría tener graves consecuencias.
Tal problema se destacó en un incidente reciente en el que un abogado experimentado de la ciudad de Nueva York citó casos, sugeridos por ChatGPT, que resultaron nunca haber sucedido. El abogado puede enfrentar sanciones como resultado de su acción.
Otro incidente recibió una amplia atención en abril cuando ChatGPT aparentemente reescribió la historia al decir que un alcalde australiano había sido encarcelado por soborno mientras trabajaba para un banco cuando en realidad había sido un denunciante en el caso.
Para hacer que su tecnología de chatbot sea más confiable, los ingenieros de OpenAI han revelado que actualmente se están enfocando en mejorar su software para reducir y, con suerte, eliminar estas ocurrencias problemáticas.
En un trabajo de investigación publicado el miércoles y recogido por CNBC, OpenAI dijo que los chatbots “exhiben una tendencia a inventar hechos en momentos de incertidumbre”, y agregó: “Estas alucinaciones son particularmente problemáticas en dominios que requieren un razonamiento de varios pasos, ya que un solo error lógico es suficiente para descarrilar una solución mucho más grande”.
Para abordar los errores del chatbot, los ingenieros de OpenAI están trabajando en formas para que sus modelos de IA se recompensen a sí mismos por generar datos correctos cuando se mueven hacia una respuesta, en lugar de recompensarse solo en el punto de conclusión. El sistema podría conducir a mejores resultados, ya que incorpora más de un procedimiento de cadena de pensamiento similar al humano, según los ingenieros.
Pero algunos expertos expresaron dudas sobre el trabajo, diciéndole a CNBC que es de poca utilidad hasta que se incorpore a ChatGPT, que mientras tanto seguirá alucinando. OpenAI no ha dicho si y cuándo podría incorporar su trabajo en sus herramientas generativas de IA.
Si bien es bueno saber que OpenAI está trabajando para resolver el problema, podría pasar un tiempo antes de que veamos mejoras. Mientras tanto, como dice OpenAI, ChatGPT puede generar ocasionalmente información incorrecta, así que asegúrese de confirmar sus respuestas si son parte de alguna tarea importante.
