La capacidad de identificar y depurar sistemas podría mejorar la seguridad y la utilidad de la inteligencia artificial
Este «mecánico» de IA puede observar el interior de la caja negra de otras redes neuronales . – Investigadores han utilizado un modelo de inteligencia artificial para leer y manipular el funcionamiento interno de otra red de IA, ofreciendo una nueva forma de asomarse a la «caja negra» de la IA .
Los informáticos suelen mejorar los modelos entrenándolos en pequeños incrementos o creándolos desde cero. Un equipo del Instituto Tecnológico de Massachusetts (MIT) en Cambridge ha demostrado cómo un modelo de IA llamado GPT-6 Astra puede interpretar los valores internos brutos de otros modelos con la suficiente precisión como para predecir el funcionamiento de diferentes partes de los sistemas. Posteriormente, puede editar los modelos para realizar mejoras, incluyendo el aumento de sus capacidades matemáticas. Los autores publicaron sus hallazgos en una preimpresión¹ el 2 de noviembre.
Los modelos de IA de vanguardia están «mostrando los primeros indicios» de una capacidad para tratar las redes neuronales como archivos que pueden leer, analizar y modificar, afirma el coautor Rikiya Takehi, investigador de aprendizaje automático en el MIT.
Leer también: Exoplaneta desapareció de los telescopios y la ciencia encontró al culpable
Los resultados no implican que Astra, desarrollado por OpenAI en San Francisco, California, pueda explicar o comprender el funcionamiento de una red de IA determinada. Sin embargo, los hallazgos sugieren que los modelos de IA de propósito general, como ChatGPT o Claude, podrían modificar una red de forma útil, al igual que un mecánico que identifica y repara problemas en un motor que ni diseñó ni comprende del todo.
Interpretación de la IA
Los investigadores ya intentan interpretar cómo los diferentes componentes de una red generan sus resultados. El artículo preliminar demuestra que es posible automatizar algunos de estos métodos de «interpretabilidad», afirma Fazl Barez, investigador de seguridad de la IA en la Universidad de Oxford, Reino Unido.
Los investigadores esperan que una mejor comprensión de los modelos de esta manera ayude a crear sistemas de IA más seguros, aunque Barez advierte que esta suposición está «en gran medida sin comprobar» .
Aún no está claro si Astra va más allá de aplicar la información y las técnicas aprendidas en su entrenamiento. Barez afirma que le sorprendería que Astra fuera capaz de leer e interpretar modelos de maneras que superen las capacidades humanas actuales.
Sin embargo, si se desarrolla aún más, esta capacidad de reprogramar modelos podría ser una ventaja para el desarrollo de la IA aplicada a la ciencia, afirma Marinka Zitnik, científica informática y bioinformática de la Universidad de Harvard en Cambridge, Massachusetts. Por ejemplo, podría ayudar a detectar errores en un modelo antes de realizar pruebas en el mundo real, explica.
EO// Con información de Nature