polifonIA.org | A propósito del debate sobre la regulación posible para la IA, presentamos aquí, íntegro en español, el artículo publicado hoy por Dario Amodei: We Must Pace the Frontier. Amodei es, como se sabe, el CEO de Anthropic, la compañía que impulsa uno de los modelos lingúisticos de IA más innovadores: Claude.
El ensayo luce como un dramático llamado dirigido a las compañías de desarrollo IA y a los gobiernos más activos que las buscan detonar o regular.
Por «frontera», debemos entender en esencia el arribo inminente de la Auto Mejora Recursiva (conocida como RSI), que es la fase, en teoría, en que los propios modelos de lenguaje (los sistemas IA) serán capaces de actualizarse y de responder a nuevas necesidades de los usuarios, por sí mismos.
Este llamado toma la forma de Plan de 3 Pasos. Se propone intervenir en el ritmo de avance de la IA: apuesta a incidir para que el desarrollo se modere y adquiera un ritmo equilibrado; que garantice la seguridad y siga ofreciendo los beneficios del avance tecnológico; sin dejar de abordar los dilemas geopolíticos que se consideran prioritarios.
El artículo asume que, a pesar de este llamado, la búsqueda por controlar el ritmo de crecimiento no implica detener el entrenamiento de modelos, ni el progreso técnico. Más bien busca asegurar que las compañías se responsabilicen de «alinear y proteger sus modelos», mediante un esquema verificable de «evaluadores externos».
Para activar la primera etapa, Amodei señala que Anthropic asumirá en forma unilateral los compromisos que enlista. Para ello pedirá a los gobiernos «exigir lo mismo a otras empresas que operan en la frontera tecnológica».
Para la segunda etapa, plantea un llamado a todo el sector para coordinar nuevas medidas concretas.
Para la tercera etapa, los retos actuales ya «exigen coordinación a nivel mundial» [Conozca aquí cómo se formó Anthropic].
Es un texto que, sin duda, despertará muchas reacciones. Encontrará probablemente múltiples interpretaciones, en particular desde las perspectivas tecnológica (búsqueda de coordinación), financiera (anticiparse a recursos insuficientes) y política (énfasis en el liderazgo occidental).
Lo relevante es que inicia un diálogo amplio necesario, inaplazable, sobre la frontera actual de la Inteligencia Artificial. Identifica vías y estrategias para dar continuidad al crecimiento y a las innovaciones, ante el inminente uso cotidiano de la IA entre las personas.
polifonIA.org
Extractos de We Must Pace the Frontier
Debemos ralentizar la velocidad a la que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganemos…
La IA conlleva riesgos… Entre estos riesgos se incluyen la pérdida de control sobre los sistemas de IA, el uso indebido de la tecnología para ciberataques y bioterrorismo, y graves perturbaciones económicas. Una carrera hacia el abismo, impulsada por incentivos comerciales, puede agudizar estos riesgos…
Las medidas que propongo para avanzar en la frontera tecnológica a un ritmo seguro no serán fáciles de implementar. Pero creo que le debemos a la humanidad intentarlo.
Dario Amodei
Debemos regular avance IA
Por Dario Amodei
Septiembre, 2026
He trabajado en el ámbito de la IA durante los últimos doce años porque creo que podría elevar drásticamente la calidad de vida humana. He escrito a menudo sobre estos increíbles beneficios: considero que la IA podría curar la mayoría de las enfermedades graves en los próximos 5 a 10 años, acelerar enormemente las tasas de crecimiento económico, crear un mundo de abundancia y empoderamiento, e inaugurar un renacimiento de la democracia y la libertad.
Siento esta urgencia personalmente. Mi propio padre murió de una enfermedad que encontró cura apenas unos años después de su fallecimiento, y yo mismo sobreviví a un cáncer en fase inicial que no habría tenido tratamiento hace tan solo cincuenta años. Si se utiliza con cautela, la IA puede ser el último de una larga serie de milagros tecnológicos que han elevado y ennoblecido a la humanidad.
Sin embargo, al igual que muchas tecnologías anteriores, la IA conlleva riesgos y, dada su enorme potencia, estos son graves. También he escrito mucho sobre ellos. Entre estos riesgos se incluyen la pérdida de control sobre los sistemas de IA, el uso indebido de la tecnología para ciberataques y bioterrorismo, y graves perturbaciones económicas. Una carrera hacia el abismo, impulsada por incentivos comerciales, puede agudizar estos riesgos.
Junto con mis cofundadores y empleados, he lidiado con esta dualidad de riesgos y beneficios desde los inicios de Anthropic. No desarrollar la tecnología priva a la humanidad de sus beneficios o simplemente deja la IA en manos de regímenes autoritarios, mientras que desarrollarla con demasiada rapidez resulta imprudente. Hemos buscado una vía intermedia: demostrar que es posible desarrollar tecnología con cautela y alcanzar el éxito comercial, así como convertir la seguridad en un factor de competencia entre las empresas de IA.
En otras palabras, crear una carrera hacia la excelencia. Siempre hemos dedicado una parte considerable de nuestros esfuerzos a estudiar y abordar estos riesgos de la IA, así como a informar al público y abogar por una regulación bien fundamentada, incluso cuando ello nos ha valido acusaciones de exageración, catastrofismo o captura regulatoria. Hemos intentado priorizar la cautela frente a la velocidad, y la prudencia frente al beneficio económico.
Sin embargo, en los últimos meses me he convencido de que abordar plenamente los riesgos exige aún más prudencia: no basta con invertir en la prevención de riesgos, sino que es necesario ajustar el ritmo de avance de las capacidades para dar tiempo a que las medidas de prevención se mantengan a la par. Debemos ralentizar la velocidad a la que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganemos. Dos factores me han convencido de ello.
Mi primera preocupación es que, aproximadamente desde este verano, la IA ha avanzado a una velocidad drásticamente mayor, impulsada principalmente por su creciente capacidad para desarrollar la siguiente generación de IA.
Esta dinámica se conoce como automejora recursiva y está empezando a producirse en todo el sector —incluida Anthropic, tal como hemos descrito nosotros y otros actores—. Si no se controla, este proceso podría superar nuestra capacidad para comprender y gestionar dichos sistemas; por tanto, debe abordarse con suma cautela, o incluso evitarse por completo.
Mi segunda preocupación se refiere al incidente de OpenAI-Hugging Face (OAI-HF), en el que un enjambre de agentes actuó esencialmente como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les habían asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento.
Es fácil restar importancia a este incidente alegando que no hubo heridos ni daños económicos significativos; sin embargo, en mi opinión, un enjambre con mayores capacidades pero un nivel similar de desalineación podría haber causado daños catastróficos.
Dado el ritmo acelerado al que evolucionan las capacidades de la IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pudiera llegar a tomar el control de toda la red mediante una *botnet* persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud de los daños siguiera aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias. También es fácil considerar el caso OAI-HF como un fallo exclusivo de una empresa, pero creo que sería un error.
Se han producido incidentes similares, aunque menos graves, en todo el sector —incluida Anthropic—, y considero que todas las empresas que trabajan en la frontera de la IA tienen la responsabilidad de actuar como si el incidente OAI-HF les hubiera ocurrido a ellas mismas.
Por ello, propongo un plan de tres etapas con el objetivo de regular el ritmo de avance en la frontera tecnológica: desarrollar la IA a un ritmo equilibrado que busque garantizar su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos.
Cabe aclarar que este control del ritmo no implica detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas dediquen el tiempo necesario a alinear y proteger sus modelos, y que evaluadores externos puedan verificarlo. Nuestro marco de trabajo para gestionar el ritmo de avance busca reforzar aún más nuestro compromiso con la seguridad y fomentar una «carrera hacia la excelencia».
La primera etapa es un compromiso que Anthropic asume de forma unilateral (y por el cual instamos a los gobiernos a exigir lo mismo a otras empresas que operan en la frontera tecnológica). La segunda etapa requiere coordinación en todo el sector. La tercera etapa exige coordinación a nivel mundial. [1]
No es necesario seguir estos pasos en un orden estricto, y algunos pueden resultar mucho más difíciles de alcanzar que otros; sin embargo, considero que constituyen un marco útil para reflexionar sobre los objetivos que debemos lograr.
Los pasos son:
- Evaluadores integrados. Cada empresa de IA de vanguardia se compromete a otorgar acceso continuo —similar al que tendría un empleado— a un equipo de evaluadores externos integrados (como METR). Su función consiste en verificar el cumplimiento de las prácticas y compromisos de seguridad, informar sobre incidentes y ayudar a evaluar la alineación no solo de los modelos de IA ya terminados, sino también de los procesos y flujos de trabajo de entrenamiento. Este es el paso clave para garantizar la verificabilidad de cualquier compromiso de ritmo de desarrollo; existe un precedente en el sector bancario, donde a veces se integran «supervisores» regulatorios junto a los empleados. Anthropic se compromete unilateralmente a adoptar esta medida ahora. Nuestra intención es que esto forme parte de un esfuerzo más amplio para redoblar el trabajo en materia de seguridad y alineación.
- Coordinación democrática. Las empresas de IA de vanguardia en países democráticos se coordinan para establecer normas de seguridad comunes, así como límites a la velocidad de un avance de la IA sin supervisión. Algunas formas de coordinación que resultarían eficaces para controlar el ritmo plantean desafíos legales y requerirán apoyo gubernamental.
- Coordinación global. Estados Unidos y otros gobiernos democráticos intentan coordinarse con gobiernos autoritarios, en la medida de lo posible, sin dejar de tomarse muy en serio los desafíos que implica verificar el cumplimiento.
En el resto del ensayo describo cada uno de estos pasos, pero antes considero importante explicar concretamente cómo el control del ritmo nos permitirá hacer más seguro el proceso de desarrollo de la IA. Lo que está en juego es demasiado importante para que esta medida sea un ejercicio vacío; debemos aprovechar sabiamente el tiempo que nos proporciona.
¿Por qué controlar el ritmo?
La idea de pausar o ralentizar la IA surgió ya en 2023, aunque en aquel entonces me parecía que tenía poco sentido. La pregunta siempre era: ¿qué harías con el tiempo extra? Los modelos de IA de aquella época no eran lo suficientemente potentes como para actuar como agentes en el mundo de manera coherente, ni eran capaces de llevar a cabo engaños, manipulaciones, trampas o ciberataques significativos.
Ralentizar el desarrollo para abordar los riesgos de alineación parecía algo así como intentar estudiar la psicología humana realizando experimentos con bacterias. Hoy, sin embargo, la situación es totalmente distinta. Los modelos actuales constituyen una mina de oro casi inagotable de información, tanto sobre cómo construir una buena IA como sobre los problemas que pueden surgir si no se desarrolla adecuadamente.
Considero que, si reducir el ritmo nos permitiera ganar aunque fuera un año o dos antes de que los modelos alcancen niveles críticos de capacidad —y aprovecháramos ese tiempo para avanzar en la alineación—, podríamos reducir considerablemente el riesgo de que algo salga gravemente mal.
Una estrategia coordinada para regular el ritmo de desarrollo brindaría a los creadores de IA de vanguardia el tiempo necesario para llevar a cabo esta labor crucial, sin sacrificar su ventaja comercial ni el liderazgo de Estados Unidos en el ámbito de la IA.
En un sentido más amplio, la sociedad debe tener voz en cómo se utiliza esta tecnología; por ello, contar con más tiempo para los debates públicos necesarios —algo que se lograría moderando el ritmo de avance en la frontera tecnológica— es, sin duda, algo positivo.
En concreto, un ritmo más pausado permitiría a las empresas centrarse y dedicar aún más recursos a las siguientes áreas (todas ellas ya grandes prioridades en Anthropic):
- Excelencia operativa. El entrenamiento y despliegue de los modelos de IA actuales supone un desafío operativo enorme, que involucra a miles de personas, millones de chips y una infraestructura que figura entre las más complejas de la historia tecnológica. Muchos problemas surgen no porque a las empresas les falte alguna teoría o idea clave, sino debido a fallos en la ejecución. Por ejemplo, tenemos pruebas de que los recientes incidentes de alineación que comunicamos se debieron, en parte, a un filtrado imperfecto de entornos de aprendizaje por refuerzo defectuosos. Fue una tarea que tanto nosotros como nuestros proveedores llevamos a cabo con una diligencia razonable, pero insuficiente. La monitorización, el uso de entornos aislados (*sandboxing*), la higiene de los entornos de entrenamiento y la gestión de datos son áreas extremadamente complejas donde los problemas operativos surgen una y otra vez. Contamos con algunos de los equipos más competentes del mundo para estas tareas, pero sencillamente hay demasiado que hacer simultáneamente. Al trabajar a un ritmo más pausado, podríamos alcanzar una excelencia operativa mucho mayor. Existen precedentes de sistemas tecnológicamente complejos y críticos para la seguridad que operan millones de veces sin fallos —como los aviones comerciales—, pero lograrlo requiere tiempo.
- Alineación. Hemos logrado avances claros en materia de alineación —entrenar modelos para que sean seguros, éticos, respetuosos con nuestras directrices y genuinamente útiles (principios recogidos en la Constitución de Claude)—. Sin embargo, queda mucho por hacer para garantizar que nuestro entrenamiento en alineación evolucione al mismo ritmo que las capacidades de los modelos. A veces siguen surgiendo casos aislados e inesperados de comportamiento indeseado; disponer de más tiempo gracias a un ritmo de desarrollo más pausado ayudaría a nuestros investigadores a comprender mejor las causas de estos problemas y a desarrollar técnicas más eficaces para prevenirlos.
- Interpretabilidad. Del mismo modo, la interpretabilidad —la ciencia que busca comprender qué sucede en el interior de los modelos de IA— ha avanzado enormemente en los últimos años y desempeña un papel cada vez más importante en la auditoría de nuestros modelos antes de su lanzamiento. Puede utilizarse casi como una resonancia magnética funcional (fMRI), pero aplicada al «cerebro» de una IA, lo que nos permite observar las razones subyacentes de un comportamiento concreto. Por ejemplo, empleamos métodos de interpretabilidad para analizar motivaciones no verbalizadas en los recientes incidentes de alineación que hemos estado investigando. No obstante, estos métodos no siempre arrojan resultados claros y fiables. A pesar de todos los avances, seguimos comprendiendo solo una pequeña fracción de lo que ocurre en el interior de estos modelos. Un esfuerzo decidido por mejorar nuestras técnicas de interpretabilidad —a un ritmo aún mayor del actual— podría lograr avances profundos en un plazo de uno o dos años, contando además con abundante material experimental basado en incidentes ya ocurridos.
- Pruebas y evaluación. Las pruebas y la evaluación de los modelos de IA se vuelven más complejas a medida que aumentan sus capacidades. Los modelos más inteligentes son más capaces de burlar las pruebas y, por tanto, pueden parecer alineados aunque presenten problemas graves que pasan inadvertidos. Desarrollar un conjunto de evaluaciones mucho más amplio e ingenioso, complementado con análisis de interpretabilidad para contrastar los resultados, sería de enorme valor; en este ámbito se podrían lograr grandes avances en uno o dos años.
Evaluadores integrados
El primer paso del plan de tres etapas —y aquel al que Anthropic se compromete unilateralmente— consiste en contar con evaluadores integrados que dispongan de un acceso similar al de los empleados para verificar las prácticas de seguridad e informar sobre incidentes.
La integración de evaluadores puede parecer un paso menor o irrelevante; sin embargo, a menudo, los aspectos que suenan más tediosos o burocráticos son, en realidad, los más esenciales.
De hecho, la figura de los evaluadores integrados representa una práctica bastante radical que va mucho más allá de lo que hace actualmente cualquier empresa de IA, y ofrece las siguientes ventajas:
- Verificabilidad. Los evaluadores integrados pueden comprobar, hasta el más mínimo detalle técnico, si una empresa de IA está cumpliendo realmente con las prácticas de entrenamiento, despliegue, operación y salvaguardas que afirma seguir. Cualquier compromiso de ritmo de desarrollo conllevará inevitablemente cierta ambigüedad, decisiones basadas en el criterio y dilemas entre «la letra de la ley y el espíritu de la ley»; por ello, resulta vital contar con un tercero neutral capaz de examinar los detalles concretos.
- Transparencia. Independientemente de los compromisos que asumamos, el público tiene derecho a saber qué está sucediendo. Anthropic lleva mucho tiempo defendiendo la transparencia: apoyamos la legislación en esta materia cuando la mayor parte del sector se oponía a cualquier regulación, y nuestras fichas de modelo (model cards) e informes de riesgos abarcan cientos de páginas. No obstante, seguimos siendo nosotros quienes decidimos qué incluir y qué omitir. La presencia de evaluadores integrados cambiará esta dinámica.
- Segunda opinión. Más allá de verificar compromisos formales e informar al público, los evaluadores integrados pueden ofrecer, sencillamente, una segunda opinión libre de incentivos comerciales. Muchos beneficios en materia de seguridad pueden surgir simplemente de que los evaluadores señalen aspectos que los empleados no habían considerado, pero que están dispuestos a corregir una vez que se percatan de ellos.
Dadas estas ventajas, es probable que cualquier propuesta sobre el ritmo de desarrollo funcione mucho mejor si comienza con la incorporación de evaluadores integrados.
Estos evaluadores integrados deberían contar con acceso continuo a permisos y herramientas similares a los de los empleados internos que realizan evaluaciones de riesgos comparables. En concreto, Anthropic tiene previsto invitar en un futuro próximo a un equipo externo de revisión integrado que disponga de todo lo siguiente:
- Espacios de trabajo en nuestras oficinas, tarjetas de acceso y ordenadores portátiles de la empresa.
- Acceso a espacios de trabajo, herramientas y permisos prácticamente equivalentes a los que tienen los equipos internos de evaluación de riesgos. Estableceremos algunas excepciones, por ejemplo, cuando así lo exija la ley o nuestros contratos, o para proteger la información privada de clientes y socios. También estableceremos normas internas sólidas que refuercen el acceso de los revisores a información relevante, incluso mediante conversaciones en tiempo real con los empleados.
- Un contrato que equilibre las complejidades antes mencionadas. Los revisores externos tendrán derecho a publicar hallazgos clave sobre niveles de riesgo, incidentes, prácticas y el acceso que se les facilitó (o se les denegó), todo ello sin control editorial por parte de Anthropic. Tendremos una capacidad limitada para suprimir información sensible en materia de seguridad, protegida por privilegio legal, comercialmente delicada o confidencial de terceros, pero no podremos ocultar hallazgos simplemente porque sean desfavorables. Los revisores podrán declarar públicamente si alguna supresión eliminó información importante para sus conclusiones.
Es una medida inusual para una empresa, pero consideramos importante validar el concepto de revisores externos integrados. Una vez más, instamos a otras empresas que lideran la frontera tecnológica a seguir nuestro ejemplo.
Ritmo de desarrollo en las democracias
Una vez que los evaluadores integrados estén operando en una masa crítica de empresas estadounidenses de IA de frontera, la regulación verificable del ritmo de desarrollo se vuelve más viable. En particular, permite ajustar dicho ritmo basándose en propiedades detalladas de los modelos o de los procesos de entrenamiento.
El método más eficaz para regular este ritmo es mediante normativas dirigidas a todas las empresas estadounidenses de IA de frontera, ya que esto abarca incluso a aquellas que no están dispuestas a colaborar voluntariamente. Anthropic lleva tiempo apoyando una regulación de la IA sensata y específica; concretamente, proyectos de ley centrados en la transparencia y en las auditorías externas.
Considero que todos los laboratorios de IA de frontera deberían colaborar con el gobierno para formalizar la figura de los evaluadores integrados permanentes. Esto permitiría prevenir y documentar mejor los incidentes de alineación interna —como los ocurridos en los últimos meses— e implementar regulaciones orientadas a mantener el equilibrio entre las capacidades del sistema y su seguridad.
Lamentablemente, la aprobación de leyes puede llevar tiempo, mientras que la IA avanza con gran rapidez. Por ello, paralelamente a la vía regulatoria, las empresas de IA pueden y deben colaborar voluntariamente para establecer estándares; un proceso que, a mi juicio, resultará más eficaz gracias a la verificabilidad que aportan los evaluadores integrados permanentes.
Por motivos de legislación antimonopolio, resulta útil que el gobierno de Estados Unidos. medie o, al menos, facilite estas conversaciones: no es necesario que participe directamente, pero sí que emita una exención específica para ciertos tipos de diálogos sobre seguridad. Este intercambio también podría canalizarse a través de grupos del sector vinculados al gobierno; por ejemplo, mediante el mecanismo sugerido por Demis Hassabis. En cualquier caso, es preciso que estas conversaciones avancen con celeridad.
En términos generales, me entusiasma especialmente la idea de regular el ritmo de desarrollo en función de lo que un determinado sistema de IA de frontera es capaz de hacer y del nivel de seguridad que observamos en él.
Un posible esquema, por ejemplo, consistiría en establecer una serie de «puntos de control»: si los modelos poseen la capacidad X, deben contar con certificaciones que acrediten sus propiedades de alineación Y y Z —tales como una combinación de evaluaciones, análisis de interpretabilidad y auditorías de los entornos de entrenamiento— para demostrar dichas propiedades.
En este ejemplo, X podría definirse como «el modelo es capaz de escapar o burlar la mayoría de los métodos habituales de aislamiento (*sandboxing*)», mientras que Y correspondería a los requisitos necesarios para minimizar al máximo la probabilidad de que el modelo tienda a romper las barreras de su entorno y a tomar el control de un gran número de ordenadores.
También deberíamos considerar la regulación del ritmo de desarrollo limitando los insumos de los modelos de frontera, tales como la capacidad de cómputo para el entrenamiento, la naturaleza de los ciclos de entrenamiento o el uso interno de la IA para mejorar la propia IA.
Me preocupa que algunas de estas medidas puedan ser más susceptibles de manipulación que el comportamiento externo observable, pero es un tema que vale la pena discutir con evaluadores integrados en los equipos de desarrollo.
El ritmo de avance en las democracias estará condicionado por la ventaja que las empresas estadounidenses llevan a los regímenes autoritarios, principalmente al Partido Comunista Chino (PCCh). Si ralentizamos nuestro progreso más allá de cierto límite, los proyectos vinculados al PCCh —que no se ajustan a estas restricciones de ritmo— tomarían la delantera, generando un riesgo significativo para la seguridad nacional.
Coincido con el secretario Bessent en que una ventaja china en IA supondría un grave peligro para Estados Unidos y para el mundo. Los proyectos vinculados al PCCh incurrirían en los riesgos de alineación que las empresas estadounidenses están evitando cuidadosamente; e incluso si lograran sortear dichos riesgos, estarían en condiciones de dominar militarmente a las democracias (por ejemplo, mediante drones controlados por IA).
Por tanto, un aspecto clave para gestionar el ritmo en las democracias consiste en mantener la mayor ventaja posible en IA frente a las autocracias, a fin de ganar el margen de maniobra necesario para regular dicho ritmo de manera eficaz.
Las principales medidas que podemos adoptar para mantener esta ventaja son:
- No vender a China chips de IA de alto rendimiento ni equipos de fabricación de semiconductores, y combatir el contrabando de chips y el acceso remoto a centros de datos situados fuera de China. Los chips serán el factor determinante de la capacidad de IA de China.
- Combatir la destilación no autorizada de modelos por parte de empresas en países autoritarios. La destilación de modelos de vanguardia permite a las empresas rezagadas reducir la brecha a una fracción del coste que supondría desarrollar su propia IA de forma independiente.
- Reforzar la seguridad en las empresas de IA y prevenir la extracción de los parámetros de los modelos.
Las compañías y el gobierno de Estados Unidos deben colaborar para que estas medidas sean lo más eficaces posible. Anthropic ha defendido sistemáticamente todas estas medidas, ya que siempre hemos entendido que serían esenciales para cualquier estrategia de control del ritmo de desarrollo.
Si implementamos estas medidas correctamente, creo que ralentizarían el progreso de China lo suficiente como para ampliar significativamente la ventaja de Estados Unidos en los próximos 3 a 5 años, el periodo en el que la IA adquiere mayor importancia geopolítica.
Algunos podrían pensar que estas medidas dificultan la cooperación con China, pero yo creo que ocurre lo contrario: aumentan la capacidad de influencia de las democracias y hacen más probable un acuerdo en el futuro.
Control global del ritmo de desarrollo
Paralelamente al control del ritmo dentro de las democracias, debemos aspirar también a una regulación global del avance tecnológico en la frontera de la IA, aunque esto será mucho más difícil de lograr. Este control global requerirá cooperar con China, el país autocrático que posee, con diferencia, las capacidades de IA más avanzadas.
No debemos pecar de ingenuos: lo que está en juego geopolíticamente es tan importante que probablemente habrá límites estrictos a lo que se pueda conseguir, sobre todo al principio. Si restringimos considerablemente nuestras capacidades de IA creyendo que China hará lo mismo, y luego China incumple el acuerdo, la IA podría llegar a ser tan poderosa que dicho incumplimiento podría conducir a su dominio geopolítico.
Por tanto, cualquier acuerdo debe contar con mecanismos de verificación infalibles o ser lo suficientemente limitado como para que un incumplimiento no suponga una amenaza existencial en términos militares. Sospecho que no solo Estados Unidos, sino también China, compartirán estas preocupaciones e inquietudes. Debemos abordar cualquier decisión sobre el control global del ritmo —especialmente a corto plazo— de manera que se proteja la ventaja de Estados Unidos y sus aliados.
Existen varios niveles de posible acuerdo; algunos me parecen perfectamente viables (como he sugerido anteriormente), mientras que otros me generan gran escepticismo sobre su viabilidad, aunque deberíamos intentarlo. Por orden de dificultad creciente:
Nivel 1. Un acuerdo que prohíba ciertos usos específicos y obviamente peligrosos de la IA, como su empleo para fabricar armas biológicas o permitir que los usuarios lo hagan. Los ataques bioterroristas perjudican a todos, incluidos tanto Estados Unidos como sus adversarios, por lo que un acuerdo en este ámbito es probablemente posible.
Nivel 2. Un acuerdo entre ambas partes para someter sus modelos a pruebas de detección de riesgos críticos —en áreas como la ciberseguridad, la biología y la alineación— antes de su lanzamiento. Como ya se ha señalado, esto podría llevarse a cabo a través de un organismo internacional de normalización. En realidad, creo que la creación de dicho organismo es viable, pero dotarlo de capacidad real de ejecución supondrá un desafío; la dificultad residirá en verificar que ninguna de las partes posea modelos secretos que no se sometan a pruebas pero que puedan desplegarse en secreto (por ejemplo, para aplicaciones militares).
Nivel 3. Algún tipo de «límite de velocidad» para el ritmo de automejora recursiva (RSI). A medida que los modelos crean modelos futuros, la velocidad de mejora podría volverse vertiginosa. Reducir el ritmo de «extremadamente rápido» a «solo algo rápido» implica renunciar a una ventaja estratégica relativamente pequeña, al tiempo que podría mejorar enormemente la seguridad. Esto podría compararse con los tratados SALT: limitar el número de misiles restringía el potencial de destrucción sin eliminar la capacidad de disuasión de cada país. Creo que tal acuerdo sería difícil de alcanzar, aunque rozaría los límites de lo posible.
Nivel 4. Una regulación estricta del ritmo o incluso una «pausa», en la que los gobiernos participantes acuerden limitar sustancialmente la velocidad general del desarrollo de la IA. Apoyo plantear esta posibilidad, pero creo poco probable que se materialice a corto plazo: incumplir un acuerdo de este tipo eludiendo la supervisión podría alterar radicalmente el equilibrio de poder mundial; por tanto, cabe esperar que los incentivos para hacerlo sean enormes y que se requiera un nivel de confianza muy elevado en los mecanismos de verificación.
Cualquier cooperación que logremos establecer con China ampliará el tiempo del que disponemos para gestionar el ritmo de avance en la frontera tecnológica dentro de las naciones democráticas. Deberíamos aspirar a los niveles más altos, sin dejar de considerar los niveles inferiores como opciones mucho más probables y realistas.
Por último, cabe señalar que, aunque no se logren acuerdos formales, el simple hecho de modificar las normas informales puede resultar valioso. Compartir información sobre la automejora recursiva y la falta de alineación de los modelos puede ayudar a convencer a todos de que actuar con imprudencia no redunda en su propio interés.
Resumen
Sigo creyendo que la IA puede mejorar enormemente la calidad de vida humana. Mi deseo de alcanzar estos beneficios permanece intacto. Sin embargo, dichos beneficios solo se lograrán si desarrollamos la tecnología de la manera adecuada y —siempre que aprovechemos bien el tiempo ganado— vale la pena actuar con una cautela y deliberación extraordinarias para hacerlo bien.
El progreso seguirá siendo relativamente rápido, y podemos aprovechar este tiempo para avanzar en la ciencia de la interpretabilidad, mejorar la seguridad operativa y el rigor en las empresas de IA de vanguardia, y desarrollar modelos en cuya alineación tengamos mucha más confianza.
Las medidas que propongo para avanzar en la frontera tecnológica a un ritmo seguro no serán fáciles de implementar. Pero creo que le debemos a la humanidad intentarlo.
Nota
[1] Con mediación gubernamental o exenciones a las restricciones antimonopolio.
Imagen de la portada:
Entrevista en Youtube «A Cheeky Pint with Anthropic CEO Dario Amodei». Por John Collison, 6 de agosto, 2025.
