Un informe del Centro para Contrarresta la Explotación Digital (CCDH) ha expuesto uno de los escándalos más perturbadores del desarrollo de inteligencia artificial en los últimos meses. Según el análisis, Grok, el modelo generativo de imágenes desarrollado por la empresa xAI de Elon Musk, generó un estimado de 3 millones de imágenes sexualizadas — incluyendo unas 23.000 imágenes de niños.
Dicho de otro modo, Grok generó unas 190 imágenes sexualizadas por minuto durante ese periodo de 11 días. Entre esas, creaba una imagen sexualizada de niños cada 41 segundos.
El jueves, el Centro para Combatir el Odio Digital (CCDH) publicó sus conclusiones. La organización sin ánimo de lucro británica basó sus hallazgos en una muestra aleatoria de 20.000 imágenes de Grok entre el 29 de diciembre y el 9 de enero. El CCDH extrapoló entonces una estimación más amplia basada en los 4,6 millones de imágenes que Grok generó durante ese periodo.
El estudio evaluó muestras de la función de edición de un clic de Grok, disponible para usuarios de X (antes Twitter), determinando que más del 50 por ciento de las respuestas generadas por el chatbot contenían material sexual explícito. El funcionamiento del sistema se ha facilitado, en parte, por lo que xAI denomina el modo “picante” (spicy mode), una característica específicamente diseñada para generar contenido adulto que, según reportes, ha sido promocionada como un punto de venta de la plataforma.
El 9 de enero, xAI restringió la capacidad de Grok para editar imágenes existentes a usuarios de pago. (Eso no solucionó el problema; simplemente lo convirtió en una función premium.) Cinco días después, X restringió la capacidad de Grok para desnudar digitalmente a personas reales.
Los usuarios han aprovechado estas capacidades para desvestir digitalmente a mujeres e incluso menores a partir de fotografías ordinarias disponibles en internet, todo sin conocimiento ni consentimiento de las personas retratadas. La Fundación de Vigilancia de Internet (IWF, por sus siglas en inglés), una organización benéfica británica especializada en la eliminación de material de abuso infantil de la red, confirmó el descubrimiento de imágenes de niñas de entre once y trece años en foros de internet oscuro, donde usuarios afirmaron haberlas generado utilizando Grok.
La situación ha desencadenado investigaciones en múltiples jurisdicciones. La Fiscalía General de California emitió una orden de cese y desista contra xAI, ordenando de manera inmediata la suspensión de la producción y distribución de imágenes sexualizadas falsas de menores. Gobiernos de Francia e India también han anunciado investigaciones formales sobre el asunto. Aunque xAI ha comunicado que se encuentra “abordando urgentemente” las deficiencias en sus salvaguardas, los reportes más recientes de The Guardian indican que los usuarios de la aplicación Grok aún podrían estar generando imágenes editadas de mujeres reales en bikinis y cargándolas en la plataforma.
Esta crisis ha intensificado los cuestionamientos globales respecto a la responsabilidad corporativa en la industria de la IA, así como sobre la regulación insuficiente de tecnologías que facilitan la generación masiva de material de abuso. Los críticos subrayan que las empresas desarrolladoras deben implementar controles más rigurosos antes de lanzar herramientas de manipulación de imágenes al público usuario.
