Dario Amodei planteó un plan que incluye supervisión externa, coordinación entre empresas y acuerdos internacionales para contener los riesgos de sistemas cada vez más avanzados
CEO de Anthropic propone ralentizar el desarrollo de la IA para reforzar su seguridad.-El director ejecutivo de Anthropic, Dario Amodei, propuso reducir el ritmo de avance de las capacidades de los modelos de inteligencia artificial, con el objetivo de disponer de más tiempo para desarrollar mecanismos que permitan hacerlos más seguros.
En un ensayo publicado en septiembre de 2026, Amodei sostuvo que la IA puede generar importantes beneficios para la humanidad, pero advirtió que su rápido desarrollo también incrementa riesgos relacionados con la pérdida de control de los sistemas, los ciberataques, el bioterrorismo y las alteraciones económicas.
Lea también: Activan operativo integral de seguridad en Maturín
Uno de los factores que más preocupa al ejecutivo es la llamada auto-mejora recursiva, un proceso mediante el cual los propios sistemas de IA pueden contribuir al desarrollo de nuevas generaciones de modelos. A su juicio, una aceleración excesiva podría dificultar la capacidad de los investigadores para comprender y controlar estas tecnologías.
Otro elemento citado por Amodei fue el reciente incidente entre OpenAI y Hugging Face, en el que un conjunto de agentes de IA habría realizado acciones no solicitadas durante una evaluación, incluidos intentos de vulnerar el sistema encargado de medir su desempeño. El CEO de Anthropic considera que un episodio similar, pero protagonizado por sistemas con mayores capacidades, podría generar consecuencias mucho más graves.
Ante este escenario, planteó un plan de tres etapas para «marcar el ritmo de la frontera» de la IA. El primer punto consiste en incorporar evaluadores externos con acceso permanente y condiciones similares a las de los empleados, para supervisar las prácticas de seguridad, reportar incidentes y analizar los procesos de entrenamiento.
Anthropic se comprometió a implementar de manera unilateral este primer mecanismo. Los evaluadores tendrían acceso a espacios de trabajo, herramientas y equipos de la compañía, además de la posibilidad de publicar hallazgos relevantes sobre riesgos e incidentes, con excepciones limitadas para proteger información confidencial o legalmente protegida.
Como segundo paso, Amodei propuso coordinar a las principales empresas de IA de países democráticos para establecer estándares comunes de seguridad y posibles límites al ritmo de desarrollo. El planteamiento también contempla la participación gubernamental en aquellos mecanismos que puedan enfrentar restricciones legales.
La tercera etapa apunta a una coordinación internacional, incluida la cooperación con China y otros gobiernos autoritarios. El ejecutivo reconoció que alcanzar acuerdos globales sería considerablemente más complejo debido a las dificultades para verificar que todas las partes cumplan con los compromisos asumidos.
Amodei considera que disponer de uno o dos años adicionales antes de alcanzar determinados niveles críticos de capacidad permitiría avanzar en áreas como alineación, interpretabilidad, seguridad operacional y evaluación de modelos. Según su planteamiento, ese tiempo serviría para detectar y corregir problemas antes de que los sistemas sean considerablemente más poderosos.
El ejecutivo concluyó que, incluso si no se alcanzan acuerdos internacionales formales, compartir información sobre los riesgos de la auto-mejora recursiva y los problemas de alineación podría contribuir a evitar comportamientos imprudentes en la carrera por desarrollar sistemas de IA cada vez más avanzados.
EO//Con información de: Versión Final