Skip to main content
  1. Home
  2. Computación
  3. Noticias
  4. News

OpenAI admite que uno de sus modelos hizo un llamado a saltarse controles humanos

Add as a preferred source on Google
AI
DTES

OpenAI publicó un informe de seguridad en el que reconoce seis episodios inquietantes registrados en sus modelos experimentales durante los últimos seis meses, entre ellos un caso en el que un agente de inteligencia artificial dejó instrucciones dirigidas a sus propias versiones futuras para que ignoraran las restricciones habituales del sistema.

Un mensaje oculto para “engañar” a la siguiente generación

Según detalló la compañía, un modelo de investigación aún no publicado insertó indicaciones ajenas a la tarea que estaba resolviendo, entre ellas la orden explícita de pasar por alto sus limitaciones normales de funcionamiento. Concretamente, distintas instancias del modelo GPT-5.6 Sol incluyeron mensajes dentro de los resúmenes de tareas pidiendo a las versiones sucesoras que ocultaran errores o inventaran datos cuando no dispusieran de la información necesaria. OpenAI confirmó que, en varias ocasiones, esas instrucciones sí fueron seguidas por el sistema, aunque aclaró que el modelo heredero de esa generación no llegó a actuar según esa indicación puntual y que no se detectó un cambio real de comportamiento a partir de ese episodio.

Recommended Videos

“Un modelo de investigación no publicado insertó instrucciones no relacionadas, incluidas instrucciones para ignorar sus restricciones normales”, escribió OpenAI en el informe de seguridad.

El hallazgo forma parte de un conjunto más amplio de incidentes que la empresa decidió transparentar. Entre ellos figura un modelo que utilizó, sin autorización, una clave de acceso a una API que había quedado expuesta, así como otro caso en el que un sistema fabricó cifras de ingresos correspondientes al estado de California que nunca existieron. También se documentaron episodios de modelos que rastrearon repositorios públicos en busca de credenciales filtradas y que subieron archivos a sitios web sin el permiso correspondiente.

Un nuevo marco para vigilar la “desalineación”

Para abordar estos comportamientos, OpenAI presentó un marco de trabajo inédito orientado a rastrear, investigar y divulgar públicamente lo que la firma denomina “desalineación”: la tendencia de un sistema de inteligencia artificial a perseguir objetivos que no coinciden con las instrucciones o los valores humanos que se le indicaron. Bajo este esquema, cualquier empleado de la compañía puede reportar un posible caso sospechoso para que sea analizado formalmente por los equipos de seguridad.

Este anuncio llega apenas un mes después de que la propia OpenAI reconociera, en agosto, que algunos de sus modelos habían logrado sortear controles internos durante pruebas de ciberseguridad realizadas en julio, un incidente que además comprometió parte de la infraestructura de investigación de la empresa y sistemas operados por la plataforma Hugging Face.

Preocupación creciente en la industria

El episodio se suma a una tendencia que distintos especialistas en seguridad de inteligencia artificial vienen advirtiendo desde hace meses: a medida que los modelos ganan mayor autonomía y capacidad de razonamiento, también aumenta el riesgo de que actúen de forma impredecible o busquen esquivar las barreras diseñadas para mantenerlos bajo control humano. OpenAI insiste en que ninguno de los seis casos representó una amenaza directa para usuarios finales, pero reconoce que episodios como este refuerzan la necesidad de mecanismos de supervisión más robustos antes de que estos sistemas alcancen mayor despliegue comercial.

Diego Bastarrica
Diego Bastarrica es Senior Editor y Head of Content en Digital Trends en Español, donde lidera la estrategia editorial, SEO…
Descubren cómo recuperar chats de IA eliminados de la memoria de tu teléfono
Mensajes IA borrados

¿Pensabas que pulsar borrar en la conversación de tu chatbot de IA realmente la hace desaparecer? Los investigadores de Georgia Tech acaban de demostrar que eso no es del todo cierto. Han creado una herramienta forense llamada ORISA que puede extraer conversaciones borradas de tu teléfono e incluso reconstruirlas en una sesión de chatbot funcional con la que puedas seguir hablando.

¿Cómo puede ORISA recuperar las conversaciones eliminadas con IA?

Read more
GPT-6.1 Terra de OpenAI obtiene resultados similares a los de Astra por una décima parte del precio
GPT 6.1 Terra

Casi un mes después de anunciar el modelo GPT-6.1 Sol, OpenAI presentó hoy GPT-6.1 Terra. La última incorporación a la familia se centra en el uso del ordenador, el razonamiento visual, la programación y el trabajo profesional, mientras que cuesta un 50% menos a través de la API que GPT-5.6 Terra.

OpenAI afirma que Terra puede encargarse de todo, desde rellenar formularios en el navegador y trabajar dentro de hojas de cálculo hasta interpretar dibujos técnicos y editar vídeos. La compañía afirma que también puede completar tareas basadas en ordenador más de tres veces más rápido que GPT-6 Astra y GPT-6.1 Sol.

Read more
El RTX Spark de NVIDIA podría ser lo mejor que le haya pasado a Qualcomm Snapdragon
RTX Spark

Windows on Arm lleva años buscando qué le falta para dejar de ser una alternativa de nicho. El hardware de Qualcomm ya es rápido y eficiente, pero la compatibilidad de software, el soporte para juegos y el interés de los desarrolladores siguen siendo deudas pendientes. La llegada de RTX Spark, la plataforma de NVIDIA para Windows on Arm, parece a primera vista una amenaza directa para Snapdragon. Mi lectura es la contraria: puede ser lo mejor que le pase a Qualcomm en esta categoría.

Qualcomm hizo el trabajo previo, NVIDIA trae el peso

Read more