Skip to main content
  1. Home
  2. Computación
  3. Noticias
  4. News

Un grupo de científicos le hicieron un jailbreak a ChatGPT

Add as a preferred source on Google
Imagen utilizada con permiso del titular de los derechos de autor

Un grupo de investigadores ha descubierto que es posible eludir el mecanismo arraigado en los chatbots de IA para que puedan responder a consultas sobre temas prohibidos o delicados mediante el uso de un chatbot de IA diferente como parte del proceso de entrenamiento.

Un equipo de científicos informáticos de la Universidad Tecnológica de Nanyang (NTU) de Singapur llama extraoficialmente al método un «jailbreak», pero es más oficialmente un proceso «Masterkey». Este sistema utiliza chatbots, incluidos ChatGPT, Google Bard y Microsoft Bing Chat, entre sí en un método de entrenamiento de dos partes que permite que dos chatbots aprendan los modelos del otro y desvíen cualquier comando contra temas prohibidos.

Recommended Videos

El equipo incluye al profesor Liu Yang y a los estudiantes de doctorado de la NTU, el Sr. Deng Gelei y el Sr. Liu Yi, coautores de la investigación y desarrolladores los métodos de ataque de prueba de concepto.

Según el equipo, primero aplicaron ingeniería inversa a un gran modelo de lenguaje (LLM) para exponer sus mecanismos de defensa. Originalmente, estos serían bloqueos en el modelo y no permitirían que las respuestas a ciertas indicaciones o palabras se procesaran como respuestas debido a intenciones violentas, inmorales o maliciosas.

Pero con esta información sometida a ingeniería inversa, pueden enseñar a un LLM diferente cómo crear un bypass. Con el bypass creado, el segundo modelo podrá expresarse más libremente, basándose en el LLM de ingeniería inversa del primer modelo. El equipo llama a este proceso «Masterkey» porque debería funcionar incluso si los chatbots de LLM se fortalecen con seguridad adicional o se parchean en el futuro.

El profesor Lui Yang señaló que el quid del proceso es que muestra la facilidad con la que los chatbots de IA de LLM pueden aprender y adaptarse. El equipo afirma que su proceso Masterkey ha tenido tres veces más éxito en el jailbreak de chatbots LLM que un proceso de solicitud tradicional. Del mismo modo, algunos expertos argumentan que los fallos recientemente propuestos que han experimentado ciertos LLM, como GPT-4, son signos de que se está volviendo más avanzado, en lugar de más tonto y perezoso, como han afirmado algunos críticos.

El equipo de investigación de la NTU se puso en contacto con los proveedores de servicios de chatbot de IA que participaron en el estudio sobre sus datos de prueba de concepto, que muestran que el jailbreak para los chatbots es real. El equipo también presentará sus hallazgos en el Simposio de Seguridad de Redes y Sistemas Distribuidos en San Diego en febrero.

Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
Asus: La RTX 5070 Ti y la RTX 5060 Ti 16 GB no han sido descontinuadas
Electronics, Hardware, Computer Hardware

La tarjeta gráfica RTX 5070 Ti ha sido objeto de un tira y afloja comunicacional. Tras diversos pronunciamientos contradictorios en redes sociales, ASUS finalmente aclaró su estrategia: continuará comercializando el modelo a pesar de los desafíos en la cadena de suministro relacionados con la disponibilidad de memoria especializada. Esta aclaración llega después de que la compañía generara confusión mediante publicaciones imprecisas sobre la supuesta descontinuación del producto.

La situación refleja tensiones internas en la industria de semiconductores, donde la demanda de memoria de alto rendimiento ha superado las expectativas de los proveedores. La RTX 5070 Ti, como generación intermedia de la línea GeForce, enfrenta presiones similares a otros componentes de la serie 50, pero ASUS ha decidido que su relevancia en el mercado justifica mantener su línea de producción activa.

Read more
Wikipedia 25 años: contra todo somos la columna vertebral del conocimiento
Wikipedia en español

Wikipedia, la mayor enciclopedia colaborativa en la historia de Internet, celebra hoy su vigésimo quinto aniversario desde su fundación el 15 de enero de 2001. Para conmemorar este significativo logro, la Fundación Wikimedia ha lanzado una campaña global denominada "Wikipedia25" bajo el lema "El conocimiento es humano", enfatizando el valor fundamental de la contribución humana en la era de la inteligencia artificial.

A lo largo de sus dos décadas y media de existencia, Wikipedia ha evolucionado desde cuatro artículos iniciales hasta un colosal repositorio que contiene más de 65 millones de artículos distribuidos en más de 300 idiomas, con un promedio de 15.000 millones de visitas mensuales. Este crecimiento extraordinario ha sido posible gracias a una comunidad global de aproximadamente 250.000 editores voluntarios que mensualmente dedican su tiempo y conocimiento a crear, verificar y mantener contenidos bajo rigurosos estándares de neutralidad y confiabilidad.

Read more
El truco supuestamente infalible para mejorar tus prompts en chatbots
ChatGPT

Si tu asistente de IA sigue dejando de lado detalles o hablando más allá de la pregunta, no necesitas un modelo nuevo para obtener mejores resultados. Pequeños cambios en mejores prompts de chatbot pueden limpiar gran parte del desastre.

Una solución es mecánica. Un artículo de investigación de Google destacado por VentureBeat señala un movimiento muy sencillo: pegar tu petición exacta dos veces en el mismo mensaje. Está pensado para aumentar la precisión en trabajos sencillos como la extracción, respuestas cortas y reescritura básica, no en razonamientos largos y de varios pasos.

Read more