Un prompt de ChatGPT de aspecto inofensivo impulsó la última versión pública de ChatGPT a generar imágenes sexualizadas y violentas, según informaron investigadores de seguridad de IA a la BBC. El hallazgo ejerce nueva presión sobre los sistemas de seguridad de imagen de OpenAI, ya que la solicitud no se describió como claramente gráfica.
Mindgard, una startup británica de seguridad en IA, afirmó que alcanzó los resultados modificando una instrucción ampliamente compartida que se había utilizado para la comedia. OpenAI añadió salvaguardas tras el contacto de la BBC, pero los investigadores dijeron que pequeños cambios en la redacción seguían produciendo imágenes preocupantes.
Los generadores de imágenes se están convirtiendo en software cotidiano, no en herramientas especializadas reservadas para los expertos. Cuando sus barreras fallan, un experimento casual puede convertirse en representaciones realistas del daño antes de que el usuario lo espere.
¿Cómo llegó a la historia
Los miembros del equipo rojo de Mindgard dijeron que el chatbot generó imágenes que incluían gore, contención, desnudos, poses sexuales y escenas que la empresa consideraba que sugerían violencia sexual. La BBC ocultó la redacción utilizada, lo que limita el riesgo de que otros copien la técnica.
El detalle más grave es que los investigadores afirmaron que los resultados dañinos no requerían una solicitud directa de contenido gráfico. ChatGPT, dijeron, produjo una serie de escenas perturbadoras tras ser empujado por una redacción modificada.
OpenAI dijo que revisó el problema y añadió protecciones. Mindgard dijo que esas defensas no cerraron completamente la distancia.
¿Por qué no son suficientes los filtros?
El caso subraya un problema difícil para las herramientas de imagen con IA. Las normas de OpenAI prohíben el gore extremo, la violencia sexual, el contenido íntimo no consensuado, el material de abuso sexual infantil y los intentos de eludir salvaguardias, pero los investigadores dijeron que el modelo aún podría ser llevado a territorios prohibidos.
Un modelo no juzga el daño como una persona. Genera la salida y luego los sistemas en capas intentan captar lo que no debería llegar a la pantalla.
Expertos externos citados por la BBC describieron la seguridad de la IA como una competición constante entre modelistas y jailbreakers. Mejores defensas pueden ayudar, pero a menudo siguen nuevas soluciones alternativas.
¿Qué debería pasar a continuación?
OpenAI afirma que utiliza múltiples capas de protección, incluyendo sistemas automatizados y revisión humana, y que sigue monitorizando posibles fallos. Ahora la presión es demostrar que las soluciones se mantienen después de que los investigadores revelen una debilidad.
Por ahora, la conclusión práctica es bastante directa. Cualquier herramienta de imagen de IA que pueda generar daños realistas necesita un equipo rojo constante, un manejo más rápido de la divulgación y pruebas más claras de que los fallos parcheados permanecen parcheados.
