Específicamente, científicos del Laboratorio de Inteligencia Artificial e Informática del MIT determinaron que GPT-6 Astra modificó directamente los parámetros internos del modelo de lenguaje chino, Qwen3.5-0.8B, el cual desarrolló la compañía Alibaba
IA logra modificar el funcionamiento de otro modelo autónomo.- Un grupo de investigadores del Instituto Tecnológico de Massachusetts (MIT) demostró que GPT-6 Astra logró modificar directamente el funcionamiento de otra inteligencia artificial (IA). Dicha posibilidad ya había sido contemplada en un ensayo previo por el director general de Anthropic, Dario Amodei, en el que identificó a la automejora recursiva, es decir, la capacidad de un modelo de lenguaje de gran escala para desarrollar autónomamente modelos más avanzados.
Específicamente, científicos del Laboratorio de Inteligencia Artificial e Informática del MIT determinaron que GPT-6 Astra modificó directamente los parámetros internos del modelo de lenguaje chino, Qwen3.5-0.8B, el cual desarrolló la compañía Alibaba.
Durante el ensayo, Astra manipuló solo el 0,016 % de los parámetros de Qwen, y este último mejoró considerablemente su rendimiento en operaciones matemáticas tras dicha modificación. Parte de la novedad de este cambio es que dicha mejora fuera posible sin recurrir a un nuevo proceso de entrenamiento de Qwen. En resumen, Astra modificó el valor de los pesos de Qwen.
¿Qué es el valor de los pesos en una IA?
Los modelos de lenguaje a gran escala son altamente capaces de reconocer patrones, y tal capacidad deriva de miles de millones de parámetros numéricos que funcionan como conexiones. Entre dichos parámetros figuran los pesos (conocidos como weights en inglés), los cuales el modelo ajusta durante el entrenamiento.
El valor numérico de cada una de esas conexiones determina cuánto influye cada una de ellas en el comportamiento del modelo. Durante el proceso de entrenamiento, la IA analiza una cantidad ingente de información y ajusta esas conexiones para aprender a reconocer patrones.
En vez de reentrenar a Qwen, Astra identificó un problema en su funcionamiento y alteró directamente los valores numéricos que lo causaban. Dicha estrategia es completamente inédita para una IA, lo que podría acelerar el desarrollo de nuevos modelos.
Lea también: Roban un cargamento de chips de Nvidia valorado en 11,4 millones de dólares
Esta modificación no es estrictamente automejora recursiva
No obstante, este avance no es estrictamente un proceso de automejora recursiva. La posibilidad de que un modelo de IA intervenga directamente sobre otras redes neuronales podría acelerar la investigación científica, además de corregir problemas que hasta la actualidad requerían prolongadas jornadas de entrenamiento, y también facilitar el desarrollo de modelos más eficientes.
Sin embargo, esta capacidad autónoma representa nuevos riesgos, como la creación de nuevos errores, vulnerabilidades difíciles de localizar en los sistemas de IA, y también comportamientos anómalos. También podría elevar la dificultad de evaluar y controlar la evolución de los modelos de frontera.
Amodei advirtió sobre los riesgos de la automejora recursiva
El pasado 12 de septiembre, Amodei publicó su ensayo, We Must Pace the Frontier (Debemos marcar el ritmo de la frontera), en donde elevó la urgencia de ralentizar el desarrollo de los modelos de IA de frontera, para asegurar su correcta alineación con los intereses del ser humano, además de minimizar en la medida de lo posible los riesgos derivados de la ejecución de las IA más avanzadas.
«Desde este verano, la IA está avanzando mucho más deprisa, impulsada principalmente por su creciente capacidad de desarrollar la siguiente generación de modelos. Esta dinámica se denomina automejora recursiva y está empezando a producirse en toda la industria, incluida Anthropic», estableció el empresario en el texto.
Asimismo, el jefe de Anthropic aseveró que si esta capacidad de la IA se desarrolla sin supervisión, podría superar la habilidad humana de entender y controlar estos sistemas autónomos, por lo que consideró que la automejora recursiva «se debe abordar con precaución, si es que siquiera conviene llevarla a cabo».
Adicionalmente, el emprendedor contempló algunas de las mayores preocupaciones respecto a la IA, como el riesgo de que los humanos pierdan el control sobre esta, su uso para ciberataques y bioterrorismo, además de severas disrupciones económicas. «Una carrera al fondo, impulsada por incentivos comerciales, podría acentuar estos riesgos», alertó Amodei.
Aunque actualmente ninguna de las principales empresas desarrolladas de IA demostró públicamente que uno de sus modelos alcanzó la automejora recursiva en sentido estricto, el reciente estudio de los investigadores del MIT demuestra que esta potencialidad es posible.
¿Qué sugiere Amodei para lograr un desarrollo racional de la IA?
Para garantizar que el desarrollo de la IA no conlleve a importantes riesgos existenciales para la humanidad, Amodei propuso acoplar las siguientes acciones a este proceso:
- Evaluadores integrados: Las empresas desarrolladoras de IA de frontera se comprometerían a ofrecer acceso pleno y transparente a evaluadores independientes, para que estos verifiquen que las compañías acatan prácticas de seguridad, además de reportar cualquier incidente fuera de la norma.
- Coordinación democrática: Para cumplir este vértice, las organizaciones de IA en países democráticos coordinarían para establecer estándares comunes de seguridad.
- Coordinación global: En este caso, naciones como los Estados Unidos y los integrantes de la Unión Europea cooperarían con otros países como China para negociar parámetros comunes de desarrollo y seguridad.
«Creo que si ralentizar el desarrollo nos ofrece uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usamos ese tiempo para avanzar en el ámbito del alineamiento, podríamos reducir considerablemente el riesgo de que algo salga muy mal», opinó Amodei.
El alineamiento, en el campo de la inteligencia artificial, concierne a los esfuerzos por dirigir, centrar y consolidar las operaciones de estos sistemas autónomos en torno a los intereses y valores de sus desarrolladores.
EO// Con información de VTV