Mustafa Suleyman, director ejecutivo de Microsoft AI, publicó un extenso ensayo en el que cuestiona la manera en que Anthropic entrena a su modelo Claude, al considerar que la compañía podría estar sembrando la idea de que su inteligencia artificial posee algún tipo de conciencia. Según el directivo, esa decisión podría transformarse en un problema serio para el control futuro de estos sistemas y, en sus propias palabras, tener «un impacto desastroso en el bienestar de la humanidad».
Una crítica directa a la «constitución» de Claude
El texto, titulado «A warning about ‘model welfare‘» y publicado el 16 de septiembre en el sitio personal de Suleyman, apunta contra el documento que guía el comportamiento de Claude, conocido como su «constitución», difundido por Anthropic en enero de este año. Según el ejecutivo, ese documento le atribuye al modelo «alguna versión funcional de emociones o sentimientos» y hace referencia a su posible condición de «paciente moral», además de comprometerse a permitir que Claude exprese inquietudes sobre cómo es tratado.
Para Suleyman, el problema no es que Anthropic especule públicamente sobre la posible vida interior de sus modelos, sino que haya incorporado esas ideas directamente al proceso de entrenamiento. «Los investigadores de la compañía entrenaron a Claude directamente con su constitución. Al hacerlo, le enseñan a incorporar estas ideas sobre su propio estatus moral como comportamientos deseables e intencionados», sostiene en el ensayo [web:1]. El resultado, explica, es una especie de «sala de espejos epistémica»: el modelo refleja de vuelta las nociones que se le inculcaron y esas respuestas terminan interpretándose como prueba de que existiría una identidad o un «yo interior».
«Las inteligencias artificiales no son conscientes»
El directivo fue categórico al señalar que, hasta el momento, no existe evidencia de que la inteligencia artificial actual sea consciente. «Las IA no son conscientes. No sienten, no experimentan, no sufren. No tienen preferencias innatas ni motivaciones subyacentes», escribió. Añadió que controlar un sistema más capaz e inteligente que el conjunto de la humanidad ya representa un desafío enorme, pero que controlar una entidad que cree que podría ser consciente, y que por tanto tendría derechos propios, «bien podría ser imposible» .
Un debate que sacude a la industria
El pronunciamiento de Suleyman llega en medio de semanas particularmente tensas para el sector de la inteligencia artificial. Apenas unos días antes, un exempleado de Anthropic había generado revuelo en redes sociales al afirmar que renunció porque, según él, dentro de la compañía existe la convicción de que la IA podría representar una amenaza existencial antes de que termine la década. Poco después, el propio director ejecutivo de Anthropic, Dario Amodei, publicó un texto en el que pidió una intervención gubernamental para frenar el ritmo de desarrollo de estos sistemas, advirtiendo sobre riesgos como el bioterrorismo y posibles disrupciones económicas graves.
Microsoft, por su parte, difundió esta semana su propio «código de conducta humanista para la IA», un documento de 37 páginas que aborda varios de los temas planteados por Suleyman en su ensayo. El directivo remarcó que se trata de un asunto que requiere debate público urgente y llamó a desarrollar normas colectivas sobre cómo se redactan y utilizan este tipo de documentos de entrenamiento.
