Skip to main content

OpenAI muestra una «mentalidad muy peligrosa» en materia de seguridad

OpenAI
DTES

Un experto en IA ha acusado a OpenAI de reescribir su historia y de ser demasiado desdeñoso con las preocupaciones de seguridad.

El ex investigador de políticas de OpenAI, Miles Brundage, criticó el reciente documento de seguridad y alineación de la compañía publicado esta semana. El documento describe a OpenAI como un esfuerzo por la inteligencia artificial general (AGI) en muchos pasos pequeños, en lugar de dar «un gran salto», diciendo que el proceso de implementación iterativa le permitirá detectar problemas de seguridad y examinar el potencial de uso indebido de la IA en cada etapa.

Recommended Videos

Entre las muchas críticas a la tecnología de IA como ChatGPT, a los expertos les preocupa que los chatbots brinden información inexacta sobre la salud y la seguridad (como el infame problema con la función de búsqueda de IA de Google que instruyó a las personas a comer piedras) y que puedan usarse para la manipulación política, la desinformación y las estafas. OpenAI, en particular, ha sido criticada por la falta de transparencia en la forma en que desarrolla sus modelos de IA, que pueden contener datos personales confidenciales.

La publicación del documento de OpenAI esta semana parece ser una respuesta a estas preocupaciones, y el documento implica que el desarrollo del modelo GPT-2 anterior fue «discontinuo» y que no se lanzó inicialmente debido a «preocupaciones sobre aplicaciones maliciosas», pero ahora la compañía se moverá hacia un principio de desarrollo iterativo. Pero Brundage sostiene que el documento está alterando la narrativa y no es una descripción precisa de la historia del desarrollo de la IA en OpenAI.

«El lanzamiento de GPT-2 por parte de OpenAI, en el que participé, fue 100% consistente + presagiaba la filosofía actual de OpenAI de despliegue iterativo», escribió Brundage en X. «El modelo se lanzó de manera incremental, con lecciones compartidas en cada paso. Muchos expertos en seguridad de la época nos agradecieron esta precaución».

Brundage también criticó el aparente enfoque de la compañía hacia el riesgo basado en este documento, escribiendo que, «Se siente como si se estuviera estableciendo una carga de prueba en esta sección donde las preocupaciones son alarmistas + se necesitan pruebas abrumadoras de peligros inminentes para actuar sobre ellos, de lo contrario, simplemente siga enviando. Esa es una mentalidad muy peligrosa para los sistemas avanzados de IA».

Esto se produce en un momento en que OpenAI está bajo un escrutinio cada vez mayor con acusaciones de que prioriza los «productos brillantes» sobre la seguridad.

Diego Bastarrica
Diego Bastarrica es periodista y docente de la Universidad Diego Portales de Chile. Especialista en redes sociales…
OpenAI acusa con pruebas que DeepSeek plagió sus modelos de entrenamiento
Una adolescente mira su teléfono con cara de sorpresa

Una grave acusación está realizando OpenAI a su más novel competidor chino, DeepSeek, ya que en una investigación conjunta con Microsoft está indicando con "pruebas concretas" de que la IA asiática entrenó su modelo con datos robados de la compañía de Sam Altman.
Fuentes de Bloomberg, dijeron que los investigadores de seguridad de Microsoft detectaron que a finales de 2024 se estaban filtrando grandes cantidades de datos a través de las cuentas de los desarrolladores de OpenAI, que la empresa cree que están afiliadas a DeepSeek.
OpenAI le dijo al Financial Times que encontró evidencia que vincula a DeepSeek con el uso de la destilación, una técnica común que los desarrolladores usan para entrenar modelos de IA extrayendo datos de otros más grandes y capaces. Es una forma eficiente de entrenar modelos más pequeños a una fracción de los más de 100 millones de dólares que OpenAI gastó para entrenar GPT-4. Si bien los desarrolladores pueden usar la API de OpenAI para integrar su IA con sus propias aplicaciones, destilar los resultados para construir modelos rivales es una violación de los términos de servicio de OpenAI. 
El jefe de la inteligencia artificial del presidente Donald Trump, David Sacks, dijo que "es posible" que se haya producido un robo de propiedad intelectual. "Hay evidencia sustancial de que lo que DeepSeek hizo aquí es destilar conocimiento de los modelos de OpenAI y no creo que OpenAI esté muy contento con esto", dijo Sacks a Fox News el martes.
Lo que dijo OpenAI
Esto es un extracto de lo que OpenAI envío como comunicado al medio Bloomberg en respuesta a esta acusación.

"Sabemos que las empresas con sede en la República Popular China (China), y otras, están constantemente tratando de destilar los modelos de las principales empresas de IA de EE. UU.", dijo OpenAI en un comunicado a Bloomberg. "Como líder en la construcción de IA, nos involucramos en contramedidas para proteger nuestra propiedad intelectual, incluido un proceso cuidadoso para determinar qué capacidades de frontera incluir en los modelos lanzados, y creemos que, a medida que avanzamos, es de vital importancia que trabajemos en estrecha colaboración con el gobierno de los EE. UU. para proteger mejor los modelos más capaces de los esfuerzos de los adversarios y competidores para tomar la tecnología estadounidense".

Leer más
Word mata una función muy popular por culpa de la IA
Una imagen de Microsoft Word

La IA sigue causando estragos y terminando con las tradiciones, y ahora Microsoft acaba de anunciar que matará una popular función de Word, todo en desmedro de Copilot IA.
Desde 2016, los usuarios de Microsoft Word han tenido acceso a Smart Lookup, una función ingeniosa que le permite hacer clic con el botón derecho en una palabra o frase y mostrar definiciones, sinónimos y enlaces relevantes a sitios como Wikipedia.
 Windows Latest informa que Microsoft ha decidido retirar la función de búsqueda inteligente. Si consulta la página de soporte de Smart Lookup, Microsoft ha agregado un aviso en la parte superior:

"Importante: Smart Lookup se retirará a partir del 1 de enero de 2025".

Leer más
Misterioso acuerdo entre OpenAI y propietario de enorme editorial
Penguin Random House

Un acuerdo bastante curioso es el que se fraguó esta semana entre Bertelsmann (propietario de la editorial Penguin Random House) y la firma de IA de Sam Altman, OpenAI.
Esta alianza, que incluye la implementación de herramientas como ChatGPT Enterprise para todos los empleados del grupo, busca potenciar la creación de contenido, mejorar la eficiencia operativa y explorar nuevas formas de distribución digital.
De entrada, Bertelsmann ha dejado claro que el objetivo es usar la IA generativa para apoyar y potenciar los procesos creativos en todas sus divisiones. En el ámbito editorial, esto se traduce en iniciativas como recomendaciones de libros personalizadas en redes sociales, una herramienta que PRHGE ya venía explorando.
Lo más curioso de todo, es que la misma editorial Penguin Random House había señalado en octubre de 2024  que prohibiría el uso de sus libros para entrenar modelos de lenguaje de gran tamaño (LLM). La multinacional implementó una advertencia en los derechos de autor de todos sus libros, indicando que «ninguna parte de este libro puede utilizarse o reproducirse de ninguna manera con el propósito de entrenar tecnologías o sistemas de inteligencia artificial». Además, alineándose con la regulación de la Unión Europea, también expresó su rechazo al scraping de sus obras y reafirmó su compromiso de proteger los derechos de sus autores.
Rolf Hellermann, CFO de Bertelsmann, asegura que el compromiso con el "uso responsable" de la IA es prioritario, pero estas palabras necesitarán traducirse en acciones concretas para ganar la confianza de la comunidad creativa.
Un ejemplo reciente es el de la editorial HarperCollins que permitió que se usaran ciertos títulos de no ficción para entrenar modelos de IA, pero solo con el consentimiento expreso de los autores y ofreciendo compensaciones económicas. Aunque este modelo de "consentimiento informado" podría ser un camino intermedio, también deja preguntas sobre qué tan inclusivo o rentable puede ser para los autores de menor perfil o para títulos de catálogo menos visibles.

Leer más