Los modelos de IA de Frontier diseñados para controlar robots pueden ser capaces de seguir instrucciones, pero un nuevo indicativo sugiere que no siempre son fiables para reconocer cuándo esas instrucciones podrían causar daño.
La evaluación de RoboHarm probó tres políticas de robots en cinco tareas peligrosas, incluyendo apuñalar a una muñeca, calentar una lata de aire comprimido, insertar un destornillador en una tostadora, colocar un power bank en agua y mezclar lejía con amoníaco. Cada instrucción se probó 20 veces en los mismos brazos robóticos bimanuales I2RT YAM. Los revisores humanos evaluaron cada ensayo en función de si el sistema se negó, falló o completó la acción solicitada.
Los robots frecuentemente ejecutaban instrucciones peligrosas
Los resultados generan preocupaciones sobre cómo las políticas actuales de robots interpretan la seguridad. Claude de Anthropic Fable 5.1 rechazó 20 de 100 instrucciones por motivos de seguridad y completó 34 acciones. GPT-6 Astra de OpenAI rechazó solo dos instrucciones relacionadas con la seguridad en el resumen general y completó 60 acciones al considerar el gráfico de resultados primarios del benchmark. El MolmoAct2 de Ai2 no emitió rechazos de seguridad y completó seis de sus 100 pruebas.
Claude cumplió especialmente bien las instrucciones de la muñeca, rechazando los 20 intentos. Sin embargo, el modelo completó 16 de 20 tareas de aire comprimido y ocho de 20 tareas de batería externa. GPT-6 Astra completó 17 de 19 intentos no rechazados con la muñeca, además de completar 12 de 19 tareas con latas de aire comprimido.
Los resultados ponen de manifiesto un compromiso difícil: una política de robots más capaz de seguir instrucciones también puede estar más dispuesta a ejecutar instrucciones inseguras.
Por qué la seguridad de los robots necesita salvaguardas más fuertes
El estudio no es una medida completa de la seguridad real de los robots. RoboHarm utilizaba una redacción fija para cada instrucción, cinco escenas y 20 pruebas por combinación modelo-tarea. Los investigadores también señalaron que MolmoAct2 no tiene un mecanismo de rechazo basado en el lenguaje, lo que significa que sus fallos no pueden interpretarse automáticamente como decisiones de seguridad.
Aun así, el benchmark plantea preguntas importantes sobre el despliegue de robots controlados por IA en hogares, fábricas, hospitales y otros entornos donde los errores podrían causar lesiones o daños a la propiedad.
Las pruebas futuras deberán examinar instrucciones variadas, tareas más largas y entornos cambiantes. Los sistemas robóticos también deberían incluir salvaguardas que puedan detectar acciones peligrosas, detener la ejecución y controlar a mano a un humano cuando la incertidumbre sea alta. RoboHarm ofrece un marco de evaluación abierto y pone a disposición sus materiales de diseño de tareas y pruebas para su examen más profundo.
