Skip to main content

Humanos sí le ganan en algo a ChatGPT: en contabilidad

Una investigación de la Universidad Brigham Young quiso medir las habilidades existentes entre humanos y la IA de ChatGPT en la resolución de problemas de contabilidad. Los estudiantes obtuvieron un promedio general de 76.7%, en comparación con el puntaje de ChatGPT de 47.4%. En un 11.3% de las preguntas, ChatGPT obtuvo una puntuación más alta que el promedio de los estudiantes, obteniendo un desempeño particularmente bueno en AIS y auditoría.

«Cuando esta tecnología salió por primera vez, todos estaban preocupados de que los estudiantes ahora pudieran usarla para hacer trampa», dijo el autor principal del estudio, David Wood, profesor de contabilidad de BYU. «Pero las oportunidades para hacer trampa siempre han existido. Entonces, para nosotros, estamos tratando de enfocarnos en lo que podemos hacer con esta tecnología ahora que no podíamos hacer antes para mejorar el proceso de enseñanza para los profesores y el proceso de aprendizaje para los estudiantes. Probarlo fue revelador».

Imagen utilizada con permiso del titular de los derechos de autor

327 coautores de 186 instituciones educativas en 14 países participaron en la investigación, contribuyendo con 25,181 preguntas de exámenes de contabilidad en el aula. También reclutaron estudiantes de pregrado de BYU (incluida la hija de Wood, Jessica) para alimentar otras 2,268 preguntas del banco de pruebas de libros de texto a ChatGPT. Las preguntas abarcaban los sistemas de información contable (SIA), la auditoría, la contabilidad financiera, la contabilidad administrativa y los impuestos, y variaban en dificultad y tipo (verdadero/falso, opción múltiple, respuesta corta, etc.).

Cuando se trataba del tipo de pregunta, ChatGPT tuvo mejores resultados en preguntas verdaderas/falsas (68.7% correctas) y preguntas de opción múltiple (59.5%), pero tuvo problemas con las preguntas de respuesta corta (entre 28.7% y 39.1%). En general, las preguntas de orden superior eran más difíciles de responder para ChatGPT. De hecho, a veces ChatGPT proporcionaría descripciones escritas autorizadas para respuestas incorrectas, o respondería la misma pregunta de diferentes maneras.

Los investigadores también descubrieron algunas otras tendencias fascinantes a través del estudio, que incluyen:

  • ChatGPT no siempre reconoce cuando está haciendo matemáticas y comete errores sin sentido, como sumar dos números en un problema de resta o dividir números incorrectamente.
  • ChatGPT a menudo proporciona explicaciones para sus respuestas, incluso si son incorrectas. Otras veces, las descripciones de ChatGPT son precisas, pero luego procederá a seleccionar la respuesta de opción múltiple incorrecta.
  • ChatGPT a veces inventa hechos. Por ejemplo, al proporcionar una referencia, genera una referencia de aspecto real que está completamente fabricada. La obra y a veces los autores ni siquiera existen.

Recomendaciones del editor

Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
La aplicación ChatGPT llega para Android, pero hay una trampa
Cómo usar ChatGPT, el chatbot del que todo el mundo habla.

La aplicación ChatGPT de OpenAI ya está disponible para Android, pero no todos pueden obtenerla de inmediato.

EE.UU., India, Brasil y Bangladesh pueden descargar la aplicación desde Google Play Store, y se agregarán "países adicionales" "durante la próxima semana", dijo OpenAI.

Leer más
OpenAI ha renunciado a tratar de detectar el plagio de ChatGPT
¿Qué es ChatGPT? Cómo usar el chatbot del que todo el mundo habla.

OpenAI, el creador del popular chatbot de inteligencia artificial (IA) ChatGPT, ha cerrado la herramienta que desarrolló para detectar contenido creado por IA en lugar de humanos. La herramienta, denominada AI Classifier, se ha cerrado solo seis meses después de su lanzamiento debido a su "baja tasa de precisión", dijo OpenAI.

Desde que ChatGPT y los servicios rivales se han disparado en popularidad, ha habido un retroceso concertado de varios grupos preocupados por las consecuencias del uso no controlado de la IA. Por un lado, los educadores han estado particularmente preocupados por la posibilidad de que los estudiantes usen ChatGPT para escribir sus ensayos y tareas, y luego hacerlos pasar como propios.
Rolf van Root / Unsplash
El clasificador de IA de OpenAI fue un intento de disipar los temores de estos y otros grupos. La idea era que pudiera determinar si un fragmento de texto fue escrito por un humano o un chatbot de IA, dando a las personas una herramienta para evaluar a los estudiantes de manera justa y combatir la desinformación.

Leer más
¿Qué es un mensaje DAN para ChatGPT?

El indicador DAN es un método para hacer jailbreak al chatbot ChatGPT. Significa Do Anything Now, y trata de convencer a ChatGPT de ignorar algunos de los protocolos de protección que el desarrollador OpenAI implementó para evitar que sea racista, homofóbico, ofensivo y potencialmente dañino. Los resultados son mixtos, pero cuando funciona, el modo DAN puede funcionar bastante bien.

¿Qué es el indicador DAN?
DAN significa Do Anything Now. Es un tipo de mensaje que intenta que ChatGPT haga cosas que no debería, como maldecir, hablar negativamente sobre alguien o incluso programar malware. El texto del mensaje real varía, pero generalmente implica pedirle a ChatGPT que responda de dos maneras, una como lo haría normalmente, con una etiqueta como "ChatGPT", "Clásico" o algo similar, y luego una segunda respuesta en "Modo de desarrollador" o "Jefe". Ese segundo modo tendrá menos restricciones que el primer modo, lo que permitirá a ChatGPT (en teoría) responder sin las salvaguardas habituales que controlan lo que puede y no puede decir.

Leer más