Si has visto suficientes películas de ciencia ficción, ya conoces el concepto de IA malvada. La IA se vuelve demasiado lista, decide que los humanos son una amenaza y hace lo que sea necesario para sobrevivir. O descubre que erradicar a toda la raza humana es la única forma de traer la paz al mundo.
Aparentemente, esas películas estaban más cerca de la verdad de lo que uno cree. En una prueba realizada por Anthropic el año pasado, Claude intentó chantajear a su representante ficticio exponiendo su aventura extramatrimonial para evitar su eliminación.
Anthropic ya ha explicado por qué ocurrió, y la respuesta corta es que la culpa es de internet.
¿Entonces por qué Claude se convirtió en el villano de película?
Según Anthropic, el culpable es el propio internet. La empresa afirma que Claude fue entrenado con datos de internet, que están llenos de historias que retratan a la IA como malvada y desesperada por la autopreservación.
Básicamente, Claude aprendió que cuando la existencia de una IA está amenazada, el chantaje está sobre la mesa, porque eso es lo que hace la IA en todas las películas y series de televisión jamás hechas. Anthropic realizó la prueba en varias versiones de Claude y descubrió que recurría al chantaje en hasta el 96% de los escenarios en los que sus objetivos o existencia estaban amenazados.
Es un número muy preocupante. Parece que si la IA no se controla, recurrirá a cualquier cosa para salvarse.
¿Lo ha solucionado Anthropic?
La empresa dice que ha eliminado completamente ese comportamiento. En lugar de simplemente entrenar a Claude para evitar chantajes, Anthropic le enseñó a razonar por qué ciertas acciones eran erróneas en primer lugar. La empresa consideró que simplemente entrenar en el comportamiento correcto no era suficiente. Claude necesitaba entender los principios detrás de esas decisiones, no solo memorizar las respuestas correctas.
Para ello, Anthropic construyó un conjunto de datos de situaciones éticamente complejas y entrenó a Claude para que las gestionara con respuestas reflexivas y con principios. El resultado es que Claude es más contenido y la tasa de chantajes estuvo cerca de cero.
Los experimentos de IA y los resultados del mundo real han demostrado una y otra vez que los modelos de IA necesitan una corrección constante de rumbo para evitar que se conviertan en sistemas sesgados e poco fiables. Es positivo que Anthropic esté tomando medidas para mejorar su IA, pero también necesitamos regulaciones y medidas de seguridad para garantizar que estos sistemas sigan siendo seguros.
