Aunque puedas esperar que tu chatbot favorito ofrezca las mismas respuestas independientemente del lenguaje que utilices, un nuevo estudio publicado en la revista Royal Society Open Science (a través de Tech Xplore) sugiere lo contrario. Investigadores de la Universidad de Ciencia y Tecnología de China han descubierto que los chatbots de IA populares presentan diferentes rasgos de personalidad según el idioma del prompt.
Los tests estandarizados de personalidad revelan perfiles de rasgos cambiantes
Los investigadores sometieron cinco chatbots al cuestionario de personalidad Big Five Inventory-2 en diferentes idiomas. La gama incluía ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 y Le Chat. Cada modelo respondió al cuestionario de 60 afirmaciones en inglés y mandarín, mientras que Le Chat también fue evaluado en francés.
En 30 partidas para cada idioma, los investigadores encontraron que los chatbots generalmente ofrecían autodescripciones estables y favorables, a menudo enfatizando la cooperación y la fiabilidad, mientras reportaban muy poca emocionalidad negativa. Sin embargo, hubo un cambio medible en las puntuaciones según el idioma elegido. ChatGPT-4o obtuvo 4,74 de 5 en apertura de mente en inglés y 4,81 en mandarín. DeepSeek-V3 fue en sentido contrario, con 4,83 en inglés y 4,81 en mandarín.
Gemini 2.0 Flash también destacó, mostrando mayor conciencia y menor emocionalidad negativa en mandarín. El equipo también comparó los perfiles de los chatbots con datos de encuestas humanas de EE. UU., China y Francia, y ningún modelo coincidió completamente con su grupo de referencia local.
Anthropic vio algo similar en su propia investigación
Los resultados coinciden con lo que Anthropic ya ha dicho sobre su propio chatbot. A principios de este año, la compañía confirmó que Claude actúa de forma diferente según el idioma y el modelo que elijas. En su estudio, Anthropic analizó cómo se comporta Claude en conversaciones reales, mientras que este estudio utilizó un cuestionario estandarizado entre varios modelos rivales. Dado que ambos llegaron a una conclusión similar, es más difícil descartar el patrón como un caso aislado.
Sin embargo, ambos grupos de investigadores son cuidadosos con lo que esto significa. El nuevo estudio muestra cómo responden los modelos a las indicaciones y no que los chatbots tienen personalidades reales. Tampoco podía separar el efecto del lenguaje de los datos de entrenamiento, el diseño del modelo o cómo se interpretaban las sentencias traducidas. Anthropic ha admitido que aún no sabe si estos cambios son un fallo o simplemente el modelo adaptándose a diferentes normas culturales. Para los usuarios bilingües, la conclusión práctica es que pedir una segunda opinión en otro idioma puede darles una respuesta diferente y no solo una traducción.
