Apple ha retirado varias aplicaciones de «nudify» impulsadas por IA de la App Store tras recibir presión legal por parte del abogado municipal de San Francisco, pero el episodio plantea una cuestión mucho más grande que si un puñado de aplicaciones violó las normas de la App Store.
El verdadero problema es por qué estas aplicaciones llegaron a uno de los mercados de apps más controlados del mundo en primer lugar.
La última controversia comenzó después de que el abogado de la ciudad de San Francisco, David Chiu, enviara cartas de cese y desistimiento tanto a Apple como a Google, acusando a las empresas de facilitar la distribución de aplicaciones capaces de generar imágenes desnudas generadas por IA sin consentimiento. Según los avisos legales, las empresas también han obtenido beneficios de estas aplicaciones mediante compras dentro de la aplicación, y las autoridades californianas argumentan que las plataformas deberían romper lazos con los desarrolladores que ofrecen dichos servicios.
Apple ha respondido ahora, confirmando que varias de las aplicaciones identificadas ya han sido eliminadas, mientras que otros desarrolladores corren el riesgo de una eliminación permanente si no cumplen con las políticas de la App Store.
Apple dice que las aplicaciones violan sus normas. Los críticos dicen que no deberían haber aparecido en absoluto.
Tras la publicación de la investigación de WIRED, Apple dijo a 9to5Mac que las aplicaciones diseñadas para generar o distribuir contenido pornográfico o de «nudificación» siempre han violado sus Directrices de Revisión de Apps. Según la empresa, tres de las aplicaciones destacadas por la Fiscalía de la Ciudad de San Francisco ya han sido retiradas de la App Store, mientras que las cuentas de desarrolladores detrás de ellas están en proceso de ser canceladas. Apple también ha informado que ha contactado con cuatro desarrolladores adicionales, advirtiéndoles que aborden violaciones de las políticas o enfrentan la expulsión de la plataforma.
«La App Store fue diseñada para ser un lugar seguro y de confianza para los usuarios», afirmó Apple en su comunicado, añadiendo que rechaza proactivamente las aplicaciones de nudificación y elimina otras tras recibir informes a través de sus herramientas de informes. Apple también reiteró que los desarrolladores siguen siendo responsables del contenido generado dentro de sus aplicaciones. Las aplicaciones que permiten contenido generado por los usuarios deben incluir mecanismos para filtrar material objetable o arriesgarse a su eliminación total de la App Store.
Google ha tomado medidas similares. La compañía afirma que ya ha suspendido cientos de aplicaciones de Android que ofrecen funciones de nudificación y ha restringido las búsquedas en Play Store por términos como «nudify». Según Google, las cinco aplicaciones de Android citadas por el fiscal de la ciudad de San Francisco también han sido eliminadas por violar las políticas de Play Store.
Aquí está la declaración completa de Apple proporcionada a 9to5Mac: «La App Store fue diseñada para ser un lugar seguro y de confianza para los usuarios, y siempre hemos prohibido estrictamente las aplicaciones diseñadas para generar, distribuir o consumir pornografía. ‘ Las aplicaciones de Nudificación infringen nuestras Directrices de Revisión de Apps, y hemos rechazado proactivamente muchas de estas aplicaciones y eliminado muchas otras, incluso cuando los usuarios las han señalado a través de nuestras herramientas de informes. Hemos eliminado tres de las aplicaciones en cuestión y estamos en proceso de cancelar sus cuentas de desarrollador de nuestro programa. Estamos en contacto con otros cuatro que deben abordar violaciones de las políticas o corren el riesgo de ser eliminados también.»
El mayor reto es la moderación en la era de la IA
La acción legal se produce en medio de una creciente preocupación por cómo la IA generativa ha reducido drásticamente la barrera para crear deepfakes explícitos. A diferencia de la pornografía tradicional, muchas de las herramientas actuales de intercambio facial impulsadas por IA no requieren más que una sola fotografía. En cuestión de segundos, los usuarios pueden generar imágenes desnudas fabricadas o vídeos explícitos que representan a personas reales sin su conocimiento ni consentimiento.
Las autoridades afirman que las consecuencias van mucho más allá de las violaciones de la privacidad. Las víctimas han reportado cada vez más acoso, extorsión, daños reputacionales y graves impactos en la salud mental. Investigaciones previas también han descubierto incidentes en decenas de escuelas donde se crearon imágenes sexuales generadas por IA de menores utilizando herramientas comerciales. Lo que hace que la aplicación de la ley sea especialmente difícil es que muchas de estas aplicaciones no se anuncian abiertamente como herramientas de «nudificación». En cambio, se presentan como aplicaciones inocuas de intercambio de rostros o edición de fotos con IA. Las capacidades explícitas de generación de imágenes suelen permanecer ocultas hasta después de la instalación o tras compras dentro de la aplicación, lo que dificulta mucho la moderación automatizada.
Una investigación publicada a principios de este año reveló que un gran número de aplicaciones de intercambio de rostros aparentemente ordinarias aún podían generar deepfakes explícitos a pesar de no promocionarse de esa manera. En muchos casos, los investigadores encontraron pocas o ninguna medida de seguridad que prevenga el mal uso.
Esa distinción se ha convertido en el centro del debate que ahora enfrentan Apple y Google
Ambas empresas sostienen que sus políticas prohíben claramente la pornografía y el contenido sexualmente explotador. Sin embargo, los críticos argumentan que las políticas por sí solas ya no son suficientes cuando las aplicaciones de IA pueden ocultar funcionalidades dañinas tras características legítimas. La Oficina del Fiscal de la Ciudad también alega que Apple y Google se benefician económicamente de estas aplicaciones a través de comisiones sobre compras dentro de la aplicación, argumentando que los operadores de plataformas tienen una mayor responsabilidad de identificarlas y eliminarlas antes de que lleguen a los usuarios.
Para Apple, las últimas eliminaciones pueden ayudar a abordar las críticas inmediatas, pero es poco probable que pongan fin a la conversación más amplia. A medida que la IA generativa se vuelve más barata, rápida y cada vez más capaz de producir medios sintéticos realistas, la revisión de aplicaciones ya no se limita a revisar capturas de pantalla o descripciones de desarrolladores. Ahora requiere identificar qué puede ser persuadido para generar un modelo de IA tras la instalación, una tarea considerablemente más difícil que la moderación tradicional.
Es poco probable que ese reto desaparezca pronto, y tampoco lo serán las preguntas que se hacen a las empresas que gestionan las mayores tiendas de aplicaciones del mundo.
