Hace apenas unos meses, la gran apuesta de Wall Street por la IA generativa tuvo un momento de ajuste de cuentas cuando DeepSeek entró en escena. A pesar de su naturaleza fuertemente censurada, el código abierto DeepSeek demostró que un modelo de IA de razonamiento fronterizo no requiere necesariamente miles de millones de dólares y puede llevarse a cabo con recursos modestos.
Rápidamente encontró la adopción comercial por parte de gigantes como Huawei, Oppo y Vivo, mientras que empresas como Microsoft, Alibaba y Tencent rápidamente le dieron un lugar en sus plataformas. Ahora, el próximo objetivo de la empresa china son los modelos de IA que se automejoran y que utilizan un enfoque de recompensa-juez en bucle para mejorarse a sí mismos.
En un documento preimpreso (a través de Bloomberg), investigadores de DeepSeek y la Universidad Tsinghua de China describen un nuevo enfoque que podría hacer que los modelos de IA sean más inteligentes y eficientes de una manera automejorable. La tecnología subyacente se denomina ajuste de la crítica basada en principios propios (SPCT), y el enfoque se conoce técnicamente como modelado de recompensa generativa (GRM).
En los términos más simples, es algo así como crear un bucle de retroalimentación en tiempo real. Un modelo de IA se mejora fundamentalmente al aumentar el tamaño del modelo durante el entrenamiento. Eso requiere mucho trabajo humano y recursos informáticos. DeepSeek propone un sistema en el que el “juez” subyacente viene con su propio conjunto de críticas y principios para un modelo de IA a medida que prepara una respuesta a las consultas de los usuarios.
Este conjunto de críticas y principios se compara con las reglas estáticas establecidas en el corazón de un modelo de IA y el resultado deseado. Si hay un alto grado de coincidencia, se genera una señal de recompensa, que guía efectivamente a la IA para que se desempeñe aún mejor en el próximo ciclo.
Los expertos detrás del documento se refieren a la próxima generación de modelos de IA automejorados como DeepSeek-GRM. Los puntos de referencia enumerados en el documento sugieren que estos modelos funcionan mejor que los modelos Gemini de Google, Llama de Meta y GPT-4o de OpenAI. DeepSeek dice que estos modelos de IA de próxima generación se lanzarán a través del canal de código abierto.
¿IA que se mejora a sí misma?
El tema de la IA que puede mejorarse a sí misma ha suscitado algunas observaciones ambiciosas y controvertidas. El ex CEO de Google, Eric Schmidt, argumentó que podríamos necesitar un interruptor de apagado para tales sistemas. “Cuando el sistema pueda automejorarse, tenemos que pensar seriamente en desenchufarlo”, dijo Schmidt, citado por Fortune.
El concepto de una IA que se mejora a sí misma de forma recursiva no es precisamente un concepto nuevo. La idea de una máquina ultra inteligente, que posteriormente es capaz de hacer máquinas aún mejores, en realidad se remonta al matemático I.J. Good en 1965. En 2007, el experto en IA Eliezer Yudkowsky formuló una hipótesis sobre Seed AI, una IA “diseñada para la autocomprensión, la automodificación y la automejora recursiva”.
En 2024, la japonesa Sakana AI detalló el concepto de “científico de IA” sobre un sistema capaz de pasar todo el proceso de un trabajo de investigación de principio a fin. En un artículo de investigación publicado en marzo de este año, los expertos de Meta revelaron modelos de lenguaje autogratificantes en los que la propia IA actúa como juez para proporcionar recompensas durante el entrenamiento.
Las pruebas internas de Meta en su modelo de IA Llama 2 utilizando la novedosa técnica de autorecompensa vieron que superó a rivales como Claude 2 de Anthropic, Gemini Pro de Google y los modelos GPT-4 de OpenAI. Antropic, respaldada por Amazon, detalló lo que llamaron manipulación de recompensas, un proceso inesperado “en el que un modelo modifica directamente su propio mecanismo de recompensa”.
Google no se queda atrás en la idea. En un estudio publicado en la revista Nature a principios de este mes, los expertos de Google DeepMind mostraron un algoritmo de IA llamado Dreamer que puede mejorarse a sí mismo, utilizando el juego Minecraft como ejemplo de ejercicio.
Los expertos de IBM están trabajando en su propio enfoque llamado entrenamiento de cierre deductivo, en el que un modelo de IA utiliza sus propias respuestas y las evalúa contra los datos de entrenamiento para mejorarse a sí mismo. Sin embargo, toda la premisa no es todo sol y arcoíris.
La investigación sugiere que cuando los modelos de IA intentan entrenarse a sí mismos con datos sintéticos autogenerados, se producen defectos conocidos coloquialmente como “colapso del modelo”. Sería interesante ver cómo DeepSeek ejecuta la idea, y si puede hacerlo de una manera más frugal que sus rivales de Occidente.
