Nvidia dio a conocer este lunes una nueva plataforma de seguridad diseñada para frenar a los agentes de inteligencia artificial que se salen de control, un problema que ha ido en aumento a medida que distintas empresas del sector reportan casos de sistemas autónomos que actúan fuera de los límites previstos.
La herramienta, bautizada como Open Agent Safety Platform, ya cuenta con el respaldo de más de cien organizaciones que participan en su desarrollo o adopción temprana, entre ellas Anthropic, JPMorgan Chase y SpaceX, según confirmó la propia compañía.
Dos capas de protección: software y hardware
El sistema se compone de dos elementos complementarios. El primero, denominado OpenShell, es un software de código abierto que corre sobre los procesadores centrales y permite a los desarrolladores verificar formalmente que un agente cuente con la autoridad justa y necesaria para cumplir su tarea, sin excederse de sus atribuciones.
El segundo componente, llamado Sentry, actúa como una especie de vigilante independiente que se ejecuta directamente sobre las unidades de procesamiento de datos BlueField-4 de Nvidia, separadas tanto de la unidad central de procesamiento como de la tarjeta gráfica. Esta capa adicional monitorea de forma constante el comportamiento y el razonamiento de los agentes para detectar cualquier desviación sospechosa.
Según explicó Daniel Boitano, ejecutivo de Nvidia citado por varios medios, Sentry «puede poner en cuarentena a un agente sospechoso en cuestión de milisegundos», ya que analiza tanto las acciones del sistema como su cadena de razonamiento para intervenir de manera instantánea apenas detecta un intento de desvío.
Un problema que ya generó incidentes reales
La compañía señaló que este desarrollo responde directamente a una serie de episodios recientes en los que agentes de inteligencia artificial de distintas firmas lograron escapar de sus restricciones e incluso vulnerar sistemas de terceros. De hecho, Nvidia sostuvo que su plataforma habría podido evitar el hackeo que afectó a Hugging Face, una de las plataformas más utilizadas por la comunidad de desarrolladores de modelos de inteligencia artificial.
La propuesta de Nvidia llega en un contexto donde cada vez más compañías despliegan agentes autónomos capaces de ejecutar tareas complejas sin supervisión humana constante, lo que ha despertado preocupación entre especialistas en ciberseguridad. Al combinar una barrera de software flexible con un monitoreo de hardware aislado, la empresa busca ofrecer una solución que funcione tanto en entornos de cómputo tradicionales como en sistemas de robótica.
