Skip to main content

Humanos sí le ganan en algo a ChatGPT: en contabilidad

Una investigación de la Universidad Brigham Young quiso medir las habilidades existentes entre humanos y la IA de ChatGPT en la resolución de problemas de contabilidad. Los estudiantes obtuvieron un promedio general de 76.7%, en comparación con el puntaje de ChatGPT de 47.4%. En un 11.3% de las preguntas, ChatGPT obtuvo una puntuación más alta que el promedio de los estudiantes, obteniendo un desempeño particularmente bueno en AIS y auditoría.

«Cuando esta tecnología salió por primera vez, todos estaban preocupados de que los estudiantes ahora pudieran usarla para hacer trampa», dijo el autor principal del estudio, David Wood, profesor de contabilidad de BYU. «Pero las oportunidades para hacer trampa siempre han existido. Entonces, para nosotros, estamos tratando de enfocarnos en lo que podemos hacer con esta tecnología ahora que no podíamos hacer antes para mejorar el proceso de enseñanza para los profesores y el proceso de aprendizaje para los estudiantes. Probarlo fue revelador».

Imagen utilizada con permiso del titular de los derechos de autor

327 coautores de 186 instituciones educativas en 14 países participaron en la investigación, contribuyendo con 25,181 preguntas de exámenes de contabilidad en el aula. También reclutaron estudiantes de pregrado de BYU (incluida la hija de Wood, Jessica) para alimentar otras 2,268 preguntas del banco de pruebas de libros de texto a ChatGPT. Las preguntas abarcaban los sistemas de información contable (SIA), la auditoría, la contabilidad financiera, la contabilidad administrativa y los impuestos, y variaban en dificultad y tipo (verdadero/falso, opción múltiple, respuesta corta, etc.).

Cuando se trataba del tipo de pregunta, ChatGPT tuvo mejores resultados en preguntas verdaderas/falsas (68.7% correctas) y preguntas de opción múltiple (59.5%), pero tuvo problemas con las preguntas de respuesta corta (entre 28.7% y 39.1%). En general, las preguntas de orden superior eran más difíciles de responder para ChatGPT. De hecho, a veces ChatGPT proporcionaría descripciones escritas autorizadas para respuestas incorrectas, o respondería la misma pregunta de diferentes maneras.

Los investigadores también descubrieron algunas otras tendencias fascinantes a través del estudio, que incluyen:

  • ChatGPT no siempre reconoce cuando está haciendo matemáticas y comete errores sin sentido, como sumar dos números en un problema de resta o dividir números incorrectamente.
  • ChatGPT a menudo proporciona explicaciones para sus respuestas, incluso si son incorrectas. Otras veces, las descripciones de ChatGPT son precisas, pero luego procederá a seleccionar la respuesta de opción múltiple incorrecta.
  • ChatGPT a veces inventa hechos. Por ejemplo, al proporcionar una referencia, genera una referencia de aspecto real que está completamente fabricada. La obra y a veces los autores ni siquiera existen.

Recomendaciones del editor

Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
Ahora podrás manejar con ChatGPT de copiloto en un Volkswagen
volkswagen sedan electrico id aero

En el CES 2024, Volkswagen anunció que integrará ChatGPT en los sistemas de reconocimiento de voz de algunos vehículos futuros, algo que, según el fabricante de automóviles, proporcionará una mayor funcionalidad que el reconocimiento de voz estándar. Está previsto que ChatGPT esté disponible en el segundo trimestre de 2024 y "se está considerando para Estados Unidos", según un comunicado de prensa de VW.

VW está utilizando Cerence Chat Pro para integrar ChatGPT, que permitirá a los conductores acceder al chatbot sin tener que activarlo por separado, crear una cuenta separada de la asociada con el perfil de usuario de su automóvil o instalar una aplicación separada. El reconocimiento de voz seguirá funcionando como en los modelos actuales de VW, donde ya se utiliza para el control del clima, el infoentretenimiento y las funciones de navegación, pero ahora podrá responder a preguntas de cultura general con respuestas procedentes de ChatGPT. Esto no le dará a ChatGPT acceso a los datos del vehículo, y las preguntas y respuestas se "eliminarán de inmediato", según VW.

Leer más
Un grupo de científicos le hicieron un jailbreak a ChatGPT
cientificos jailbreak chatgpt rolf van root lyi1t85lry8 unsplash

Un grupo de investigadores ha descubierto que es posible eludir el mecanismo arraigado en los chatbots de IA para que puedan responder a consultas sobre temas prohibidos o delicados mediante el uso de un chatbot de IA diferente como parte del proceso de entrenamiento.

Un equipo de científicos informáticos de la Universidad Tecnológica de Nanyang (NTU) de Singapur llama extraoficialmente al método un "jailbreak", pero es más oficialmente un proceso "Masterkey". Este sistema utiliza chatbots, incluidos ChatGPT, Google Bard y Microsoft Bing Chat, entre sí en un método de entrenamiento de dos partes que permite que dos chatbots aprendan los modelos del otro y desvíen cualquier comando contra temas prohibidos.

Leer más
Bing Chat: cómo usar la versión ChatGPT de Microsoft
Bing Chat: cómo usar la versión ChatGPT de Microsoft.

Bing Chat es la respuesta de Microsoft a ChatGPT; de hecho, se basa en la misma tecnología que hace funcionar el chatbot de OpenAI. Pero Microsoft tiene un enfoque muy diferente, ya que  integra la IA generativa directamente en su navegador web Edge y en su motor de búsqueda Bing. Incluso llegará a todo el conjunto de aplicaciones de Office en el futuro. Aquí se explica cómo registrarse y utilizar Bing Chat hoy.
Cómo obtener Bing Chat

Bing Chat se lanzó originalmente solo como una lista de espera, pero ahora está ampliamente disponible en bing.com/new y requiere descargar la nueva versión de Microsoft Edge. Simplemente haz clic en “Descargar Microsoft Edge”, el que luego te pedirá que elijas la plataforma en la que te encuentras. Esto instalará el nuevo navegador, como con cualquier otra aplicación.

Leer más