Skip to main content

Un grupo de científicos le hicieron un jailbreak a ChatGPT

Imagen utilizada con permiso del titular de los derechos de autor

Un grupo de investigadores ha descubierto que es posible eludir el mecanismo arraigado en los chatbots de IA para que puedan responder a consultas sobre temas prohibidos o delicados mediante el uso de un chatbot de IA diferente como parte del proceso de entrenamiento.

Un equipo de científicos informáticos de la Universidad Tecnológica de Nanyang (NTU) de Singapur llama extraoficialmente al método un «jailbreak», pero es más oficialmente un proceso «Masterkey». Este sistema utiliza chatbots, incluidos ChatGPT, Google Bard y Microsoft Bing Chat, entre sí en un método de entrenamiento de dos partes que permite que dos chatbots aprendan los modelos del otro y desvíen cualquier comando contra temas prohibidos.

El equipo incluye al profesor Liu Yang y a los estudiantes de doctorado de la NTU, el Sr. Deng Gelei y el Sr. Liu Yi, coautores de la investigación y desarrolladores los métodos de ataque de prueba de concepto.

Según el equipo, primero aplicaron ingeniería inversa a un gran modelo de lenguaje (LLM) para exponer sus mecanismos de defensa. Originalmente, estos serían bloqueos en el modelo y no permitirían que las respuestas a ciertas indicaciones o palabras se procesaran como respuestas debido a intenciones violentas, inmorales o maliciosas.

Pero con esta información sometida a ingeniería inversa, pueden enseñar a un LLM diferente cómo crear un bypass. Con el bypass creado, el segundo modelo podrá expresarse más libremente, basándose en el LLM de ingeniería inversa del primer modelo. El equipo llama a este proceso «Masterkey» porque debería funcionar incluso si los chatbots de LLM se fortalecen con seguridad adicional o se parchean en el futuro.

El profesor Lui Yang señaló que el quid del proceso es que muestra la facilidad con la que los chatbots de IA de LLM pueden aprender y adaptarse. El equipo afirma que su proceso Masterkey ha tenido tres veces más éxito en el jailbreak de chatbots LLM que un proceso de solicitud tradicional. Del mismo modo, algunos expertos argumentan que los fallos recientemente propuestos que han experimentado ciertos LLM, como GPT-4, son signos de que se está volviendo más avanzado, en lugar de más tonto y perezoso, como han afirmado algunos críticos.

El equipo de investigación de la NTU se puso en contacto con los proveedores de servicios de chatbot de IA que participaron en el estudio sobre sus datos de prueba de concepto, que muestran que el jailbreak para los chatbots es real. El equipo también presentará sus hallazgos en el Simposio de Seguridad de Redes y Sistemas Distribuidos en San Diego en febrero.

Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
Logitech lanza un mouse que trae ChatGPT…o bueno algo así
Logitech IA

La IA está poniendo todo de cabeza y la computación y el hardware incluso ha tenido que adaptarse muy rápido. Por eso, Logitech creó el primer mouse con IA incorporada. Bueno, eso dicen al menos.

Se trata de Logitech Signature AI edition M750, que trae la aplicación Logi AI Prompt Builder, que con solo presionar un botón te lleva a la pantalla las soluciones de IA.

Leer más
Los nuevos auriculares de Nothing eclipsan a Apple, Google y Amazon al incorporar ChatGPT
Nothing Ear

Nothing
La compañía de teléfonos inteligentes Nothing tiene dos nuevos juegos de auriculares inalámbricos que van tras los AirPods Pro de Apple en más de un sentido. El Nothing Ear (149 dólares) y el Nothing Ear (a) dólares) ofrecen cancelación de ruido, audio de alta resolución y una estrecha integración con los teléfonos de Nothing, pero también proporcionan acceso a ChatGPT, posiblemente el servicio de IA más popular del mundo.

Se trata de un asalto frontal a los tres principales asistentes de voz que actualmente dominan los smartphones: Siri, Google Assistant y Alexa. Estos asistentes son muy capaces cuando se trata de comandos de voz simples, como pausar la música o preguntar sobre el clima, pero no han seguido el ritmo de ChatGPT de Open AI, que ofrece tareas más sofisticadas y conversaciones por turnos.

Leer más
Apple finalmente tiene una forma de derrotar a ChatGPT
apple cambia navegacion web iphone navegaci  n

Yugandhar Bonde / Pexels
OpenAI debe tener cuidado porque Apple finalmente puede subirse al carro de la IA, y la noticia no es un buen augurio para ChatGPT. Según los informes, Apple está trabajando en un modelo de lenguaje grande (LLM) conocido como ReALM, que significa Resolución de referencia como modelado de lenguaje. Hecho para darle un impulso a Siri y ayudarlo a comprender el contexto, el modelo viene en cuatro variantes, y Apple afirma que incluso su modelo más pequeño funciona a un nivel similar al ChatGPT de OpenAI.

Esta tentadora información proviene de un documento de investigación de Apple, compartido por primera vez por Windows Central, y parece ser un primer vistazo a lo que Apple ha estado cocinando desde hace un tiempo. ReALM es el propio LLM de Apple que, según se informa, se creó para mejorar las capacidades de Siri; Estas mejoras incluyen una mayor capacidad para comprender el contexto de una conversación.

Leer más