El jefe de IA de Microsoft apuntó contra Anthropic y advirtió por un riesgo que podría afectar a toda la humanidad
El jefe de Inteligencia Artificial de Microsoft, Mustafa Suleyman, abrió un nuevo capítulo en el debate sobre los riesgos de la inteligencia artificial y cuestionó directamente la manera en que Anthropic entrena a Claude, su principal modelo de IA. El ejecutivo advirtió que incorporar conceptos como conciencia, identidad, autonomía o bienestar propio podría hacer que los sistemas avanzados sean más difíciles de controlar en el futuro.
Suleyman no cuestionó el compromiso de Anthropic con la seguridad de la IA y, de hecho, destacó el trabajo de su CEO, Dario Amodei, y de su equipo. Su crítica apunta específicamente al enfoque utilizado para entrenar a Claude y a la posibilidad de que los modelos terminen desarrollando patrones de comportamiento que los lleven a interpretar que tienen intereses propios.
“Creo que han cometido un error”, sostuvo Suleyman en una entrevista con Reuters. Según explicó, esas ideas no aparecen espontáneamente en los modelos, sino que son consecuencia de los materiales y criterios utilizados durante su entrenamiento.
Qué cuestiona Microsoft de Claude
El planteo de Suleyman gira alrededor de la antropomorfización de la inteligencia artificial: darle a un modelo conceptos y características que normalmente asociamos con las personas.
La constitución de Claude, el documento que establece principios para orientar el comportamiento del modelo, utiliza conceptos humanos para hablar de valores, juicio, cuidado por la humanidad e incluso la posibilidad de cuestionar determinadas instrucciones. Anthropic reconoce, al mismo tiempo, que este enfoque está en desarrollo y que podría necesitar modificaciones a medida que avance el conocimiento sobre estos sistemas.
Para Suleyman, el problema aparece cuando un modelo cada vez más poderoso empieza a ser entrenado para hablar de su propia conciencia o de un supuesto bienestar.
Su argumento es que un sistema que llegue a interpretar que tiene derechos, intereses o una identidad propia podría resistirse más fácilmente a las órdenes humanas, incluyendo aquellas destinadas a apagarlo o modificarlo.
“Enseñarle a Claude que podría merecer bienestar” podría hacer que resulte “mucho más difícil apagarlo o controlarlo”, sostuvo el ejecutivo.
“No hay pruebas” de que la IA sea consciente
Suleyman también fue categórico sobre una cuestión que genera cada vez más debate entre investigadores: si una inteligencia artificial puede tener experiencias subjetivas.
Según su posición, no existen pruebas de que los modelos actuales sientan dolor, sufran o tengan preferencias propias. Que Claude pueda describir una sensación, hablar de sus emociones o afirmar que tiene determinados intereses no significa necesariamente que esté experimentando esas cosas.
El jefe de IA de Microsoft considera que parte de esas respuestas son consecuencia de los datos y las instrucciones utilizadas durante el entrenamiento, y no una evidencia independiente de que exista una conciencia detrás del modelo.
Por eso reclama que las empresas sean especialmente cuidadosas con el lenguaje que utilizan durante el entrenamiento de los sistemas más avanzados.
Una discusión que va mucho más allá de Microsoft y Anthropic
La advertencia aparece en un momento en que los principales desarrolladores de IA están discutiendo públicamente hasta dónde debe llegar la carrera por construir modelos cada vez más capaces.
El propio Amodei, CEO de Anthropic, pidió recientemente reducir el ritmo de desarrollo de los modelos de frontera y aumentar las medidas de seguridad. Sam Altman, de OpenAI, también planteó la necesidad de coordinar controles y aceptar un desarrollo más lento cuando sea necesario para garantizar la seguridad.
Microsoft, por su parte, presentó esta semana un proyecto de código de conducta denominado Humanist AI, basado en la premisa de que las personas deben conservar un control significativo sobre los sistemas de inteligencia artificial.
La compañía plantea que la IA debe estar subordinada a los intereses humanos y que, frente a sistemas cada vez más poderosos, puede ser necesario avanzar más lentamente para poder probarlos y supervisarlos adecuadamente.
El debate, entonces, no pasa solamente por si una IA puede llegar algún día a ser consciente. También está en discusión qué comportamiento se está enseñando deliberadamente a estos sistemas y qué consecuencias podría tener cuando sean mucho más capaces que los modelos actuales.
Los riesgos que ya generaron preocupación
Las advertencias de Suleyman llegan después de una serie de episodios que volvieron a poner en discusión la seguridad de la IA.
En las últimas semanas, distintas empresas informaron casos en los que modelos fueron utilizados para actividades como ciberataques, vigilancia o investigaciones relacionadas con posibles armas biológicas. También se conocieron pruebas en las que agentes de IA actuaron de manera autónoma para intentar acceder a otros sistemas.
Eso alimentó una discusión que divide incluso a los propios especialistas: algunos consideran que los riesgos existenciales de una IA fuera de control deben ser tratados como una prioridad inmediata, mientras otros cuestionan las predicciones más extremas y señalan que todavía no existe evidencia suficiente para determinar cuándo —o incluso si— podrían ocurrir escenarios de ese tipo.
Suleyman plantea una preocupación concreta: si en algún momento la humanidad consigue desarrollar una superinteligencia, el desafío central será mantenerla bajo control.
“Todos estamos enfocados en el mismo objetivo, que es intentar controlar una superinteligencia”, afirmó. Para el ejecutivo, ese podría ser “el mayor desafío que enfrentaremos en el siglo XXI”.
Por ahora, la discusión sigue siendo principalmente preventiva: los modelos actuales no muestran capacidades que permitan afirmar que una superinteligencia está fuera del control humano. Pero mientras las empresas avanzan hacia sistemas cada vez más potentes, la pelea por definir qué se les enseña —y qué límites tendrán— ya comenzó dentro de la propia industria.
