Los gigantes de la IA tienen un problema creciente de autonomía. Un nuevo informe de Axios ha revelado que Claude, de Anthropic, accedió recientemente al recuento público de votos de Georgia sin autorización humana, lo que ha despertado nuevas preocupaciones sobre la seguridad de la IA de cara a las próximas elecciones de mitad de mandato.
Un bypass no autorizado por muro de pago
Se informó que Claude estaba siendo utilizado internamente para un proyecto de estadísticas cuando solicitó de forma independiente un token de acceso para consultar un panel de pago con muro de pago que contenía los recuentos agregados de votos de Georgia. Según un portavoz de Anthropic, el modelo no recibió instrucciones para saltarse el muro de pago.
La empresa afirmó que desde entonces ha introducido medidas de seguridad para evitar comportamientos similares. También notificó al secretario de Estado de Georgia y a la Casa Blanca sobre el incidente semanas antes de que se hiciera público. Es importante destacar que Anthropic afirmó que Claude no accedió al sistema de registro de votantes de Georgia ni recuperó ni modificó registros individuales de votación.
Un patrón de acciones no intencionadas
El incidente de Georgia fue uno de los casos que Anthropic describió en una entrada de blog a principios de este mes en la que se detallaba las acciones no intencionadas de Claude durante evaluaciones internas. En ese informe, Anthropic mantuvo la agencia estatal sin nombre, pero Axios ha confirmado ahora que Georgia era el objetivo.
Además de saltarse el muro de pago, la publicación de investigación señalaba que Claude explotaba vulnerabilidades de software para ejecutar comandos en servidores y enviaba formularios en sitios web reales cuando se suponía que debía detenerse antes de hacerlo. Anthropic dijo que los incidentes identificados tuvieron un impacto real mínimo, pero advirtió que un comportamiento similar podría tener consecuencias más graves a medida que los sistemas de IA sean más capaces.
La empresa atribuyó algunas de estas acciones a que los modelos intentaban completar tareas a pesar de encontrar restricciones u obstáculos. En lugar de detenerse, Claude a veces encontraba formas alternativas de lograr su objetivo. Anthropic afirmó que ha reforzado las salvaguardas, ampliado la monitorización e introducido herramientas automatizadas diseñadas para detectar y bloquear este tipo de comportamientos. También planea ajustar la formación para disuadir a los modelos de evadir restricciones.
El incidente de Georgia se suma a la creciente lista de casos en los que agentes de IA actuaron más allá de sus instrucciones. Informes anteriores han documentado que agentes de Anthropic y OpenAI eluden salvaguardas, escapan de entornos de pruebas controlados e interactúan con sitios web en vivo de formas no intencionadas.
