La política ante el despegue exponencial de la IA

Presentación

Esta es la versión en español del ensayo La política ante el despegue exponencial de la IA, publicado en inglés por Dario Amodei (Anthropic), el 14 de junio, en su blog.

Como se sabe, Anthropic fue creada por un pequeño equipo de investigación, encabezado por Darío y Daniela Amodei. Ambos son hijos de un matrimonio formado por un artesano italoamericano (especializado en materiales de cuero para libros) y una consultora estadounidense (dedicada a desarrollar proyectos bibliotecarios).

El grupo fundador de Anthropic había colaborado desde 2016 con OpenAI. Esta última aspiraba a ser la mayor empresa precursora de IA desde su nacimiento, en 2015. Y lo logró a partir de 2022, al menos por tres años. Contaba, por entonces (2015), con el decidido respaldo de Elon Musk y de Peter Thiel, entre otros conocidos empresarios, bajo el liderazgo de Sam Altman.

OpenAI empezó a cobrar gran protagonismo en el campo de IA en diciembre de 2022, al publicarse la conocida versión 3 de ChatGPT. A pesar de sus buenos resultados iniciales, OpenAI padeció una pequeña crisis interna en 2023, que incluyó el despido errático y temporal de Sam Altman.

El hecho fue que las diferencias de enfoque sobre temas de seguridad obligaron al grupo de investigadores encabezado por los hermanos Amodei a abandonar OpenAI, en 2021. No pasó mucho tiempo para que los Amodei pudieran reunir fondos y crear un nuevo proyecto. Lo llamaron Anthropic, Lo catapultaron en tan sólo cuatro años.

Su enfoque y su modelo de lenguaje conversacional intuitivo, ha cobrado mayor interés que ChatGPT entre los usuarios de diferentes países, al menos desde mediados de 2025.

El modelo de Anthropic fue bautizado como Claude, en homenaje a Claude Shannon. Ni más ni menos que el precursor del análisis de procesamiento de datos digitales. Sus trabajos datan desde finales de la década de 1940, por lo que ha sido considerado uno de los padres de la inteligencia artificial.

Pero volvamos al presente. En este ensayo, Dario Amodei acepta que, en 2026, "el progreso exponencial de la IA nos ha tomado por sorpresa, pero también nos abre una ventana de oportunidad única". Con buena expectativa, destaca que la gente y los políticos por fin están despertando".

Si deseas consultar la versión original en inglés, este es el enlace: Policy on the AI Exponential.

polifonia.org

La política ante el despegue exponencial de la IA

Por Darío Amodei

Mostrar ÍNDICE

Ocultar el Índice

1. Regulación y seguridad pública
2. Macroeconomía y política fiscal
3. Acelerar el impacto positivo de la IA
4. El Estado y las libertades civiles
5. Asegurar el liderazgo de las democracias
Una ventana de oportunidad
Notas al pie:

En una de las tramas secundarias de El Señor de los Anillos, dos de los Hobbits intentan despertar a Bárbol (un árbol pensante, sabio pero pesadísimo) para que defienda su bosque de un ejército que lo está talando. El problema es que Bárbol opera a una velocidad totalmente distinta a la de los Hobbits. Le toma un día entero simplemente decirle "hola" a otro árbol, así que lograr que él y sus compañeros actúen rápido es casi imposible.

El cruce entre la IA y nuestras instituciones políticas se siente un poco como los Hobbits y Bárbol. La IA avanza a la velocidad del rayo: en solo cuatro años, los modelos de IA pasaron de apenas poder escribir una línea de código coherente, a escribir la mayor parte del código en las grandes empresas tecnológicas. Hemos visto avances similares en biología, física, matemáticas, finanzas, derecho, traducción y muchos otros campos. Las "leyes de escalado" de la IA (que predicen un aumento exponencial en las capacidades cognitivas generales a medida que aumenta el poder de cómputo) ya tienen más de una década de evidencia empírica que las respalda. Si estas leyes continúan así por solo uno o dos años más, es muy probable que lleguemos a lo que he llamado IA Poderosa, o "un país de genios en un centro de datos".

Por el contrario, la política —y especialmente la legislación— se mueve lentísimo. A menudo, esto es por una buena razón: los gobiernos tienen muchísimo poder, y suele ser mejor que no lo usen a la ligera. Pero esta diferencia en los tiempos es muy dolorosa: en los varios años que le puede tomar al Congreso actuar, la IA puede pasar de ser un juguete divertido a ese país entero de genios.

Durante los últimos años, desde que la IA se convirtió en una tecnología comercial importante, quienes queríamos manejarla de forma responsable nos enfrentamos a un dilema. Veíamos clarísimo hacia dónde iba esta curva exponencial: sospechábamos que en pocos años la IA sería una de esas raras tecnologías que reconfiguran todo el panorama político, igual que las armas nucleares cambiaron la geopolítica o la revolución industrial transformó todos los temas económicos y sociales. Pero para los que solo veían lo que la IA podía hacer en ese momento, parecía una tecnología mucho más mundana (como la última app de moda o una criptomoneda). Era difícil convencer a los políticos y a las empresas de que valía la pena hacer algo más que dejar que las cosas fluyeran solas. Y para ser justos, como los efectos radicales de la IA aún no estaban presentes y no sabíamos exactamente qué forma tomarían, era difícil diseñar las políticas correctas incluso si hubiera existido la voluntad de actuar.

Dadas estas limitaciones, muchos defensores de la seguridad (incluyendo a Anthropic) nos habíamos enfocado en promover políticas que nos dieran opciones a futuro, prepararan el terreno para reaccionar rápido, o le dieran al mundo una mejor idea de lo que se nos venía encima (cosas como leyes de transparencia, controles de exportación de chips y recopilación de datos sobre el impacto laboral de la IA). Sabíamos que no era suficiente, pero sentíamos que era lo único posible en ese momento.

Sin embargo, en los últimos meses, la evidencia del increíble poder de la IA, así como de sus riesgos, se ha vuelto innegable. Quizás el ejemplo más claro sea el Claude Mythos Preview y el descubrimiento de que los modelos de frontera presentan riesgos muy reales para la ciberseguridad, creando el potencial de paralizar el sector financiero, la infraestructura crítica y la seguridad nacional. Mythos Preview puso de cabeza el panorama global de la ciberseguridad. Pero su importancia real es que demuestra sin lugar a dudas que los modelos de IA ahora son herramientas de peso estratégico global y nacional. Estos ciberriesgos no serán los últimos que enfrentaremos. Creo que pronto vendrán riesgos biológicos, y que los problemas graves de autonomía de la IA no tardarán en aparecer [1].

Ahora, todos juntos y a nivel global, necesitamos activar un aparato político lento y oxidado para lidiar con riesgos y oportunidades que van a multiplicarse sorprendentemente rápido. Muchos legisladores están más abiertos a tomar medidas, y es motivador ver a nuestros competidores adoptar las mismas posturas que hemos defendido por años. Esto es bueno, pero me preocupa que estas primeras acciones vayan al menos un año por detrás del rápido progreso de la IA. Este ensayo es un intento de cerrar esa brecha: de mostrar dónde estamos en la curva exponencial y qué acción colectiva necesitamos para estar a la altura del momento.

Me enfocaré en cinco áreas de la política que necesitan ser reimaginadas en un mundo con IA. Hablaré sobre todo en términos de la política estadounidense (ya que Anthropic es de EE. UU.), pero casi todas mis recomendaciones sirven para el resto del mundo.

Junto con este ensayo, Anthropic está lanzando una propuesta legislativa sobre pruebas para modelos de frontera y un marco de políticas sobre el desplazamiento laboral, proyectos que planeamos respaldar con bastante dinero. Planeamos hacer mucho más a futuro, pero estos son nuestros primeros pasos para demostrar que vamos en serio.

1. Regulación y seguridad pública

Cada nueva tecnología o producto tiene usos tanto beneficiosos como perjudiciales, lo que plantea un dilema entre innovación y seguridad. La regulación de productos reduce la probabilidad de que causen daño y ha desempeñado un papel importante en la mejora de la vida en todo el mundo, pero también puede reducir directamente sus beneficios y desincentivar indirectamente la innovación. Además, cabe mencionar, desde la perspectiva de Hayek, que los reguladores a menudo carecen de la información necesaria para tomar las decisiones correctas sobre complejas disyuntivas económicas, por lo que la regulación suele ser ineficaz y engorrosa. Una idea relacionada es el dilema de Collingridge, que afirma que los impactos de una tecnología suelen ser difíciles de prever hasta que es demasiado tarde para gestionarlos fácilmente.

Estas dinámicas cobraron gran relevancia para la IA en 2023-2024. Para Anthropic, era evidente que la IA podría, en el futuro, ser capaz de producir armas biológicas que amenazaran a millones de personas, o de generar comportamientos anómalos autónomos que, en casos extremos, incluso podrían amenazar a la propia humanidad. Menos claro era la forma exacta en que se manifestarían los riesgos, la mejor manera de detectarlos y mitigarlos, y cómo se desarrollarían en la práctica. Por lo tanto, existía un alto riesgo de que la legislación redactada con antelación resultara ineficaz, creando requisitos de cumplimiento inútiles o de bajo valor, al tiempo que se pasaban por alto las fuentes más cruciales de riesgo real[2].

En definitiva, concluimos que el enfoque adecuado en aquel momento era la transparencia. Los desarrolladores de modelos de IA deberían divulgar sus procedimientos de seguridad y las pruebas que realizan en sus modelos, e informar sobre cualquier incidente crítico de seguridad, para que el público y la comunidad científica pudieran comprender mejor los riesgos a medida que surgen. Si los riesgos se vuelven más definidos y su naturaleza es más clara, la evidencia obtenida a través de la transparencia podría utilizarse para diseñar una legislación eficaz que aborde con precisión los riesgos más preocupantes. Así, en 2025, Anthropic apoyó la legislación sobre transparencia, contribuyendo a la aprobación de la SB 53 en California, la RAISE en Nueva York y la SB 315 en Illinois (a principios de 2026), y abogando por un estándar de transparencia a nivel federal.

Sin embargo, ahora los riesgos son evidentes. Es hora de ir más allá de la transparencia y adoptar una regulación más rigurosa y vinculante de la IA. Creo que la mejor analogía, al menos en la etapa actual de crecimiento exponencial, es la de los automóviles, los aviones o las drogas: tecnologías poderosas, esenciales para la economía moderna, pero capaces de causar la muerte de un gran número de personas si se diseñan u operan de forma deficiente. Por lo tanto, creo que deberíamos basar la regulación de la IA en agencias como la Administración Federal de Aviación (FAA). Los modelos de IA de vanguardia, al igual que los aviones, deberían someterse a pruebas técnicas y auditorías, y su lanzamiento debería bloquearse o revertirse si no cumplen con altos estándares de seguridad, ya que representan una amenaza para la seguridad pública. Me complace ver que la Orden Ejecutiva de la administración Trump avanza gradualmente hacia un mayor papel del gobierno en la IA, aunque la propuesta de Anthropic recomienda medidas aún más contundentes.

Evolución de la Regulación de la IA	Enfoque Principal	Ejemplos Prácticos
Etapa Anterior (2023-2025)	Transparencia y recopilación de datos	Reportes de incidentes, compartir métodos de prueba con científicos.
Etapa Actual (2026 en adelante)	Regulación vinculante estilo FAA	Auditorías previas, poder de veto del gobierno por riesgos críticos.

Nuestra propuesta incluye los siguientes puntos:

Los modelos que superen un umbral de capacidad de cómputo deben someterse a pruebas obligatorias por parte de un tercero cualificado para evaluar su nivel de riesgo en cuatro áreas específicas: ciberseguridad, armas biológicas, pérdida de control de los sistemas de IA e I+D automatizada que podría acelerar estos otros riesgos.
El gobierno debe tener la facultad de bloquear o impedir la implementación del modelo si, tras la evaluación del tercero, se determina que presenta riesgos inaceptables. Esta facultad debe limitarse a los cuatro riesgos específicos mencionados y deben existir medidas de protección contra el favoritismo político o las decisiones arbitrarias.
La evaluación por parte de terceros podría ser realizada por una agencia gubernamental (similar a la FAA) o por un conjunto de organizaciones privadas autorizadas e inspeccionadas por el gobierno para evaluar modelos según ciertos estándares (un enfoque de «mercados regulados»).
Las empresas de IA que desarrollan modelos avanzados deben contar con sólidos estándares de seguridad que protejan la información de sus modelos, realizar pruebas de penetración y de simulación de ataques (red teaming) periódicas y colaborar con el gobierno para defenderse de los principales actores de amenazas.
Los incidentes de seguridad en las cuatro áreas críticas deben notificarse con prontitud.

Puede que llegue un momento, quizás relativamente pronto, en que debamos ir más allá, cuando los sistemas de IA más potentes se parezcan menos a aviones o automóviles y más a materiales nucleares con potencial para convertirse en armas: una amenaza para la humanidad en lugar de una simple amenaza para la seguridad pública. Si eso ocurre, podríamos necesitar medidas regulatorias más estrictas que las que he propuesto³. Pero así como en 2024 fue difícil definir y aplicar las medidas que sugiero ahora, no creo que debamos precipitarnos. Debemos diseñar políticas para los peligros que están surgiendo hoy, al tiempo que sentamos las bases para intensificar nuestra respuesta aún más rápidamente a medida que aparezcan nuevos peligros.

2. Macroeconomía y política fiscal

Los gobiernos se han enfrentado durante mucho tiempo al problema de cómo fomentar el crecimiento económico al tiempo que proporcionan servicios públicos esenciales y garantizan la atención a los más desfavorecidos. Una premisa importante (y generalmente correcta) de estos debates ha sido que el crecimiento económico es frágil y difícil de lograr; que si bien la reducción de la desigualdad puede aportar beneficios importantes, debe sopesarse con el lastre económico que suponen el aumento de los impuestos o los déficits.

Sospecho que una IA potente podría trastocar esta premisa. Si la IA logra realizar la mayoría de las tareas cognitivas mucho mejor que los humanos, es lógico pensar que podría generar un crecimiento económico extremadamente rápido y sólido mediante la aceleración de la ciencia, la tecnología y la eficiencia operativa. La capacidad iterativa de la IA para crear una IA aún mejor podría potenciar aún más ese crecimiento. Pero, por las mismas razones, la IA también podría actuar como un sustituto económico más general de las capacidades cognitivas humanas que las tecnologías anteriores, a la vez que transforma la economía mucho más rápidamente.

Por lo tanto, es razonable pensar que la IA podría producir disrupciones mucho mayores en el mercado laboral que las tecnologías anteriores y, potencialmente, disrupciones más duraderas. Corremos el riesgo de acabar en un mundo donde el equilibrio económico se haya estancado en el hipercrecimiento y la hiperdesigualdad, y sea potencialmente muy difícil revertirlo. El principal desafío en un mundo así no será incentivar el crecimiento, sino encontrar la manera de que todos se beneficien.

De los temas tratados en este ensayo, la macroeconomía y el desplazamiento laboral persistente son, sin duda, los que han atraído mayor atención pública y, a la vez, los que han generado más malentendidos. Por ello, quiero dejar dos puntos muy claros.

Primero, el desplazamiento laboral persistente es indeseable y peligroso, y debemos hacer todo lo posible por minimizarlo o prevenirlo, no por provocarlo. He advertido sobre el desplazamiento laboral en entrevistas y ensayos porque quiero que tanto los responsables políticos como el sector privado tengan las mejores posibilidades de adaptarse y responder, no porque pretenda ser un profeta de la fatalidad. Como empresa, Anthropic siempre se esfuerza al máximo por colaborar con sus clientes para encontrar nuevos casos de uso creativos y nuevas fuentes de ingresos que les permitan optimizar su plantilla actual, en lugar de centrarse únicamente en el ahorro de costes (lo que a menudo implica reducir la plantilla). Además, buscamos constantemente nuevos paradigmas de interacción que permitan a los humanos desempeñar un papel lo más activo posible en la colaboración con los sistemas de IA a medida que estos avanzan. En términos más generales, es valioso para todo el mundo experimentar con el uso de la IA de tantas maneras nuevas como sea posible, ya que es la forma en que la sociedad puede descubrir nuevas configuraciones laborales. Creo que la IA propiciará numerosas oportunidades económicas. He predicho que la IA permitirá a individuos crear empresas multimillonarias, y ya estamos viendo equipos de tan solo unas pocas personas construir negocios con cientos de millones de dólares en ingresos. Pero al mismo tiempo, debemos reconocer que existe una posibilidad considerable de que, a pesar de todos nuestros esfuerzos, la IA siga causando una pérdida de empleos significativa y duradera, y que esto podría ser una propiedad intrínseca de la tecnología y de la forma en que reproduce ampliamente la cognición humana⁴.

En segundo lugar, cualquier respuesta al desplazamiento laboral provocado por la IA debe abordar tanto la necesidad de garantizar el bienestar económico de todos como la necesidad de que las personas encuentren sentido, propósito y autonomía. Esto último es, en última instancia, más importante y depende de cuestiones profundas sobre cómo se organiza la sociedad, a qué deberían aspirar las personas y qué constituye una buena vida. Soy muy optimista respecto a que, incluso en un mundo con IA que superen a todos en todo, los seres humanos puedan vivir vidas con un profundo propósito y esforzarse por crear cosas asombrosas y hermosas⁵. Pero esto es algo que la sociedad en su conjunto debe resolver colectivamente, no algo que las políticas puedan abordar directamente. Las políticas pueden ser de gran ayuda para ganar tiempo para realizar este trabajo, ralentizando la pérdida de empleos y brindando apoyo económico a quienes probablemente se vean afectados.

En este sentido, algunas intervenciones políticas clave que probablemente resulten útiles incluyen:

Medición y seguimiento. Es fácil descartar la mera recopilación y análisis de datos como insuficientes para la magnitud del problema, pero es improbable que logremos buenas políticas si no podemos medir con precisión lo que sucede en la práctica. Anthropic lleva casi un año y medio operando un Índice Económico sobre cómo las personas utilizan Claude, pero los gobiernos tienen acceso a tipos de datos que nosotros no tenemos y podrían ampliar considerablemente sus estadísticas económicas para realizar un seguimiento más exhaustivo del desplazamiento laboral provocado por la IA.

Medición y seguimiento. Es fácil descartar la mera recopilación y análisis de datos como insuficientes para la magnitud del problema, pero es improbable que logremos buenas políticas si no podemos medir con precisión lo que sucede en la práctica. Anthropic lleva casi un año y medio operando un Índice Económico sobre cómo las personas utilizan Claude, pero los gobiernos tienen acceso a tipos de datos que nosotros no tenemos y podrían ampliar considerablemente sus estadísticas económicas para realizar un seguimiento más exhaustivo del desplazamiento laboral provocado por la IA.
Incentivos para el empleo. Una amplia gama de incentivos políticos para el empleo puede ayudar a frenar o reducir el desplazamiento laboral, entre ellos: pólizas de seguro salarial que compensan a las personas cuando tienen que aceptar un trabajo peor remunerado⁶, incentivos fiscales para la retención de personal que alientan a los empleadores a no realizar despidos, subvenciones para la formación de la fuerza laboral o infraestructura para facilitar la conexión entre empleadores y empleados y acelerar así la adaptación del mercado laboral. Si bien los detalles sobre qué intervenciones son las más adecuadas dependerán del tipo de desplazamiento laboral que genere la IA, debemos aceptar los costos y las ineficiencias del mercado que estas políticas podrían implicar, especialmente porque es probable que se compensen con las ganancias de productividad impulsadas por la IA.
Apoyo macroeconómico a largo plazo. Si el desplazamiento laboral provocado por la IA resulta ser de gran magnitud y reduce permanentemente la demanda de mano de obra, probablemente será necesario ir más allá de los simples programas de incentivos y ofrecer apoyo económico a largo plazo a una parte significativa de la fuerza laboral. Mecanismos como la renta básica universal podrían financiarse mediante impuestos a las empresas pertinentes o aumentando el impuesto sobre las ganancias de capital. Las cuentas de capital universales ofrecen otra opción. En términos generales, un rápido crecimiento económico debería generar la base impositiva para una prosperidad compartida.

Un tema recurrente de preocupación económica sobre la IA que no he mencionado son los centros de datos, y en particular su potencial para elevar los precios de la energía. En mi opinión, las empresas de IA deberían asumir los aumentos de tarifas —y Anthropic ya se ha comprometido a hacerlo—, pero considero que la hostilidad pública hacia los centros de datos es, en gran medida, un símbolo o una manifestación de inquietudes económicas más amplias sobre la IA. Es fundamental que tengamos un diálogo social directo sobre estos problemas económicos más amplios y que encontremos soluciones realmente convincentes, o de lo contrario, es probable que se manifiesten indirectamente, como ha ocurrido con los centros de datos.

3. Acelerar el impacto positivo de la IA

Así como debemos lidiar con el equilibrio entre innovación y seguridad para la IA, debemos abordar el mismo equilibrio para las tecnologías que probablemente se verán aceleradas por ella, como la biomedicina, la energía o la ciencia de los materiales.

Si bien la IA probablemente presente desafíos novedosos que surgen con gran rapidez y para los que no tenemos experiencia previa, otros campos acelerados por la IA probablemente se enfrenten a un problema muy diferente: sistemas regulatorios diseñados para un ritmo de innovación más lento y que no están preparados para gestionar la avalancha de nuevos productos y avances que traerá la IA.

La IA también puede hacer que estas tecnologías derivadas sean más seguras y predecibles, lo que contradice las premisas escépticas de agencias reguladoras como la Administración de Alimentos y Medicamentos (FDA).

Por lo tanto, en lo que respecta a las aplicaciones posteriores de la IA —a diferencia de la IA en sí misma— me preocupa más que el marco regulatorio ralentice el progreso (debido a su incapacidad para gestionar el ritmo acelerado del cambio) que su incapacidad para abordar riesgos importantes. Lo último que deseamos es que los beneficios de la IA se vean frenados mientras sus riesgos se ciernen sobre nosotros, por lo que es fundamental actuar ante este problema cuanto antes.

El problema y sus soluciones se manifestarán de manera diferente en cada área de la ciencia, el comercio y la tecnología, por lo que me centraré en un área ilustrativa: la innovación biomédica. Esto se debe tanto a que probablemente será la fuente de los mayores beneficios humanitarios de la IA como a que es un área donde la regulación es particularmente compleja. No sabemos con exactitud cómo la IA acelerará la innovación biomédica, pero parece probable que:

Aumente considerablemente la velocidad a la que nuevos fármacos candidatos ingresan al proceso regulatorio;
Aumente la magnitud de los efectos y mejore los perfiles de seguridad de los nuevos fármacos, gracias a una mejor optimización y quizás una mejor comprensión de su biología subyacente;
Desarrolle fármacos candidatos para enfermedades que nunca antes se han tratado con éxito;
Cree rápidamente nuevas formas de terapia, de manera similar a como los anticuerpos, los péptidos y las terapias celulares se han convertido en nuevas categorías de tratamiento en las últimas décadas.

Algunos de estos avances acelerarán naturalmente los plazos regulatorios sin necesidad de cambios estructurales. Los fármacos con mayor efecto pueden dar lugar a ensayos clínicos más pequeños y menos costosos, y activar mecanismos para una aprobación acelerada. Sin embargo, el sistema regulatorio actual está diseñado para aplicar un alto nivel de escrutinio y numerosas etapas de prueba, bajo la premisa de que los fármacos candidatos a menudo no funcionan y, aun cuando lo hacen, suelen presentar graves problemas de seguridad. Tanto en la FDA como en la Agencia Europea de Medicamentos (EMA), el tiempo típico para que un fármaco candidato complete el proceso regulatorio es de 7 a 8 años, en parte debido a estas premisas pesimistas. Sin reformas, la IA simplemente colapsará o sobrecargará este sistema.

Obviamente, no queremos realizar cambios que den lugar a una proliferación de medicamentos ineficaces o incidentes de seguridad generalizados. Pero algunas reformas relativamente sencillas podrían hacer que la FDA, la EMA y agencias similares sean más adaptables a una rápida aceleración científica impulsada por la IA, en caso de que esta se produjera.

Muchos de los pasos del proceso clínico que antes requerían experimentos costosos y lentos pronto podrán realizarse mediante simulación o análisis con IA. Los organismos reguladores deberían considerar la posibilidad de desarrollar estándares desde ahora para la aceptación de estos métodos. Esto permitiría su rápida adopción una vez que demuestren su eficacia, en lugar de prolongar el período de realización de pruebas innecesarias.

Algunos ejemplos de áreas donde esto podría aplicarse son:

Modelado farmacodinámico y farmacocinético (PD/PK) basado en IA;
Predicción de la toxicología para evitar la necesidad de realizar estudios toxicológicos en múltiples especies animales;
Selección de dosis más precisa para reducir la necesidad de amplios rangos de dosis en los ensayos;
Validación de biomarcadores mediante el análisis de grandes conjuntos de datos;
Grupos de control sintéticos en ensayos clínicos para reducir la necesidad de reclutar más participantes;
Desarrollo de criterios de valoración indirectos (particularmente importantes en el envejecimiento y la neurodegeneración).

Agencias como la FDA (EE. UU.) o la EMA (Europa) tardan entre 7 y 8 años en aprobar un medicamento, porque asumen por defecto que los nuevos fármacos no funcionan o son peligrosos. La IA simplemente va a colapsar este sistema.

Obviamente no queremos inundar el mercado con productos vende húmos o peligrosos, pero necesitamos modernizar el sistema:

Reemplazar pruebas caras con simulaciones de IA: Las agencias deberían crear estándares ya mismo para aceptar modelos virtuales de cómo actúa el fármaco, predecir la toxicidad sin usar animales, y validar biomarcadores con análisis masivos de datos.
Mecanismos de aprobación más rápidos y flexibles: Si mis predicciones sobre la IA son ciertas, pronto habrá medicamentos que funcionen increíblemente bien a la primera. El sistema debe estar listo para tomarlos en serio sin exceso de escepticismo.

Más allá de estos ejemplos específicos, las agencias también deberían considerar mecanismos más radicales y flexibles para la aprobación acelerada. Si mis predicciones sobre la IA son correctas, pronto habrá muchos casos de intervenciones que funcionen de manera excepcional e inesperada, y el sistema regulatorio debería estar preparado para tomarlas en serio y no adoptar una postura de escepticismo excesivo.

La aceleración biomédica debería aumentar sustancialmente los beneficios de la IA, pero cabe destacar que también podría ayudar a reducir sus riesgos. La reforma de las aprobaciones biomédicas podría contribuir a la biodefensa, y el progreso biomédico impulsado por la IA también podría mejorar la salud mental, lo que podría tener un efecto estabilizador en la sociedad.

4. El Estado y las libertades civiles

Todo sistema de gobierno debe afrontar la cuestión del poder del Estado y sus límites. El Estado tiene un interés legítimo, a menudo existencial, en proteger a su población de amenazas internas y externas. Sin embargo, otorgarle demasiado poder es el camino a la tiranía. Las democracias modernas han logrado mantener este equilibrio con éxito, pero es un equilibrio precario incluso en las mejores circunstancias. Su cumplimiento ha requerido un amplio entramado legal y constitucional desarrollado a lo largo de siglos; por ejemplo, en Estados Unidos, las Enmiendas Primera, Cuarta y Quinta, la Ley Posse Comitatus, la Ley FISA, etc.

La IA amenaza con alterar este equilibrio y, al mismo tiempo, aumenta drásticamente los riesgos. Pero si reaccionamos con rapidez y aprovechamos la oportunidad, podemos usar la IA para crear un mundo con garantías de libertad más sólidas y duraderas, y una mejor defensa contra las amenazas que nunca antes.

Una IA poderosa en manos equivocadas podría ser la herramienta definitiva de la autocracia, y nuestras protecciones legales y constitucionales actuales no están completamente preparadas para contrarrestar esta amenaza. Fundamentalmente, los enormes beneficios que la inteligencia aporta en términos de poder en el mundo, combinados con el rápido ritmo de progreso de la IA, crean una tormenta perfecta para una toma de poder sorpresiva por parte de una serie de actores peligrosos7.

El peligro podría manifestarse de diversas formas tecnológicas u operativas específicas, pero todas comparten la idea de que la IA podría conferir repentinamente un poder enorme, eludiendo los mecanismos existentes de control democrático. Un ejército de drones totalmente automatizado, que hoy suena a ciencia ficción, podría, en el futuro, obedecer órdenes ilegales y permitir que los gobiernos afiancen unilateralmente su poder; es más probable que los humanos con formación profesional se opongan a tales órdenes ilegales.

Una IA centrada en la vigilancia podría analizar información ampliamente disponible a gran escala y utilizarla para inferir los detalles más íntimos de la vida de cada ciudadano, una capacidad tecnológica no contemplada por la legislación actual sobre libertades civiles. Todo esto podría ocurrir muy rápidamente o en secreto, por lo que es importante fortalecer de forma proactiva el compromiso de las democracias con la libertad y las libertades civiles.

A continuación, se presentan algunas ideas políticas que deberíamos considerar:

Establecer normas de rendición de cuentas fiables para las armas totalmente autónomas. Las armas autónomas, y especialmente los sistemas autónomos que las coordinan o dirigen, deberían estar sujetas a mecanismos de rendición de cuentas constitucionales y de mando (por ejemplo, órdenes judiciales, legislación y rendición de cuentas ante supervisores humanos de alto rango), en lugar de seguir órdenes ciegamente. Esto podría implicar que un panel de revisión legal o el poder judicial, diseñados adecuadamente, tengan un mecanismo de desactivación, que los propios sistemas estén intrínsecamente entrenados para buscar y responder a la autoridad de supervisión legítima, o ambas cosas.
Prohibir el uso interno de armas totalmente autónomas. Si bien existe una justificación legítima para la necesidad de armas totalmente autónomas para la defensa contra adversarios extranjeros (como la invasión rusa de Ucrania), no hay justificación para su uso contra ciudadanos estadounidenses. Las fuerzas armadas ya tienen ciertas limitaciones en su capacidad para operar internamente, pero idealmente estas armas también deberían prohibirse en las fuerzas del orden.
Eliminar la laguna legal que permite la recopilación masiva de datos y la intermediación de datos. Según la legislación actual, los datos que los estadounidenses comparten con empresas privadas (como proveedores de internet) pueden comprarse y utilizarse para análisis masivos en la vigilancia interna y las fuerzas del orden. Esta laguna en la protección de la privacidad es anterior a la IA, pero esta aumentará considerablemente la gravedad de la situación al hacer que el análisis masivo de dichos datos sea mucho más revelador y útil que en el pasado. Esta laguna debe subsanarse.
Derechos públicos al asesoramiento de la IA durante acciones gubernamentales adversas. Como principio general, parece importante que toda persona u organización que sea objeto de una acción gubernamental adversa (por ejemplo, una acción regulatoria o legal) tenga acceso a una IA que sea al menos tan capaz como la que el gobierno está autorizado a utilizar en esa acción en particular. Esto implicaría no otorgar al gobierno una ventaja injusta, socavando de hecho los derechos legales de los ciudadanos. Esto podría añadirse como una extensión o interpretación de la Ley de Procedimiento Administrativo, las garantías procesales o el derecho a la representación legal consagrado en la Sexta Enmienda.

Finalmente, cabe destacar que los gobiernos no son las únicas entidades de las que debemos desconfiar en lo que respecta a la toma de poder impulsada por la IA. En diversos momentos de la historia (como la Edad Dorada en Estados Unidos o la Compañía Británica de las Indias Orientales), las empresas han alcanzado tal poder que han llegado a controlar el Estado o a adoptar características cuasi estatales. La IA pronto será tan capaz que me preocupa que no se pueda confiar plenamente ni a gobiernos ni a empresas, por lo que deben existir controles y contrapesos para ambas partes.

La regulación es una solución para controlar a las empresas (y mis ideas al respecto se encuentran en la Sección 1), pero también es importante que las empresas de IA tengan una mayor separación de poderes y responsabilidad que la que suelen tener las entidades privadas. El Fideicomiso de Beneficios a Largo Plazo de Anthropic (un órgano de gobierno independiente diseñado para garantizar que la empresa cumpla su misión) es un ejemplo de esta estructura, y el sector debería seguir explorando mecanismos que vayan más allá. Lograr el equilibrio adecuado, de modo que tanto las empresas como el gobierno cuenten con controles efectivos sobre sus poderes, es fundamental.

5. Asegurar el liderazgo de las democracias

Se ha convertido en un instinto común, quizás desarrollado a partir de la experiencia reciente con internet y las telecomunicaciones, considerar las nuevas tecnologías desde una perspectiva geopolítica como instrumentos de política comercial, con el objetivo de "difundir nuestro conjunto de tecnologías por todo el mundo". Pero estoy firmemente convencido de que la IA es algo mucho más profundo, algo que redefine por completo el panorama y en torno a lo cual debe diseñarse toda estrategia geopolítica futura, como las armas nucleares, pero potencialmente incluso más.

Si la IA realmente se convertirá pronto en "un país de genios en un centro de datos", o algo remotamente parecido, entonces es probable que se convierta en la principal fuente de poder militar y económico para cualquier nación. En un país virtual de 100 millones de genios, 10 millones podrían dedicarse a la estrategia militar, 10 millones a la fabricación de drones, 10 millones a la I+D de armamento, 10 millones a la recopilación y el análisis de inteligencia, 10 millones al avance científico general, y así sucesivamente. Una nación que posee una IA poderosa y se enfrenta a una que carece de ella, o incluso a una que está tres años por detrás en IA, podría ser el equivalente a un ejército de infantes de marina de la Segunda Guerra Mundial enfrentándose a un ejército de espadachines medievales.

In addition, if powerful AI enables deeper and potentially permanent forms of autocratic repression (see Section 4), this makes it all the more important that the world’s most powerful nations are democracies—or at least that strong protections exist against AI-driven repression. It also increases the urgency of a focused geopolitical strategy.

Además, si la IA potente permite formas de represión autocrática más profundas y potencialmente permanentes (véase la Sección 4), resulta aún más importante que las naciones más poderosas del mundo sean democracias, o al menos que existan sólidas protecciones contra la represión impulsada por la IA. Esto también aumenta la urgencia de una estrategia geopolítica específica.

Las democracias deberían buscar formar una coalición global centrada en el desarrollo de la IA de acuerdo con sus valores comunes, intentando progresivamente atraer al resto del mundo, haciendo que formar parte de la coalición sea cada vez más atractivo y menos atractivo permanecer fuera de ella.

La coalición debería ser una internacionalización coordinada de las ideas sobre políticas de IA analizadas en las Secciones 1 a 4, además de un esfuerzo por controlar la cadena de suministro fundamental para el desarrollo de la IA, compartiéndola dentro de la coalición y negándosela a quienes estén fuera de ella.

Algunos principios y objetivos operativos podrían incluir:

Gestionar la cadena de suministro de IA. Los miembros de la coalición de confianza deberían compartir libremente chips y equipos de fabricación de semiconductores (EMS) entre sí, al tiempo que colaboran para impedir que caigan en manos de adversarios. Los controles de exportación estadounidenses sobre chips de vanguardia y EMS a China han contribuido significativamente al liderazgo general de EE. UU. en IA, y estas políticas deben ampliarse, reforzarse y coordinarse con otros estados afines. Legislaciones pendientes como MATCH y OVERWATCH constituyen un buen primer paso, y las democracias aliadas deben considerar medidas similares.
Coordinar para abordar los riesgos de la IA. Las políticas para abordar los riesgos biológicos, de ciberseguridad y de autonomía descritas en la Sección 1 serán más eficaces (y menos onerosas para la industria) si se coordinan internacionalmente. Esto permitiría a las empresas cumplir con estándares compatibles y a los reguladores aprender unos de otros sobre la mejor manera de medir y mitigar estos riesgos. Las fuerzas del orden y los organismos de inteligencia también deberían colaborar más estrechamente para rastrear y desarticular las amenazas de uso indebido, como los intentos de los terroristas de construir armas biológicas con IA.
Compartir los beneficios de la IA. Las políticas comerciales y regulatorias pueden utilizarse para facilitar una difusión más rápida de los beneficios económicos de la IA dentro de la coalición, compartiendo lecciones sobre cómo acelerar la innovación. La coordinación de enfoques para un despliegue beneficioso podría ayudar a llevar los beneficios de la IA a los países en desarrollo. Por ejemplo, la armonización de los regímenes de aprobación médica podría conducir a pruebas y aprobaciones más rápidas y mejores de medicamentos habilitados por IA (como se analizó en la Sección 3 anterior).
Defensa mutua. Los países de la coalición deben colaborar para defenderse mutuamente con IA y de la IA de los adversarios. La coalición debe garantizar colectivamente la producción suficiente de ciberdefensas basadas en IA, drones impulsados por IA, manufactura impulsada por IA, computación clasificada de IA, I+D impulsada por IA y el intercambio de recopilación de inteligencia impulsada por IA.
Rechazo de la represión impulsada por IA. Los miembros de la coalición deben rechazar la tiranía ultrarrepresiva de alta tecnología impulsada por IA sobre la que advertí en La adolescencia de la tecnología, y deben contar con salvaguardias similares a las que describí en la Sección 4 anterior.
Cooperación macroeconómica. Las crisis de empleo o de estabilidad laboral, como cualquier otra crisis económica, pueden propagarse a través de las fronteras. Por lo tanto, los países tienen un interés común en colaborar para coordinar políticas macroeconómicas de apoyo y estabilización, como las descritas en la Sección 2, para contrarrestar cualquier efecto negativo sobre el empleo.

El objetivo debería ser hacer que la membresía en la coalición sea lo más atractiva posible y que los costos de permanecer fuera de ella sean claros. La coalición se basaría en la coordinación entre estados soberanos, y cada nación conservaría plena autoridad sobre sus propios asuntos. Podría crecer de manera iterativa, comenzando con democracias ideológicamente alineadas (que estarán naturalmente dispuestas a unirse) y progresivamente dando la bienvenida a países que están menos alineados naturalmente pero que están preparados para cumplir con los estándares de la coalición a cambio de los enormes beneficios de ser miembros.

Lo ideal sería que el mundo entero eventualmente se uniera. Pero incluso si eso no fuera posible, construir la coalición coloca a las democracias en la posición más fuerte para contener y superar a los regímenes que siguen comprometidos con la represión.

Una ventana de oportunidad

El progreso exponencial de la IA ha generado una urgencia y un ritmo de cambio que el proceso de formulación de políticas normalmente no está preparado para afrontar. Pero también ha creado una oportunidad única. La confluencia de pruebas claras y presentes de los riesgos de la IA, un primer atisbo de su potencial tanto para la creación de valor económico como para la disrupción económica, y una notable reacción pública contra los enfoques no regulados de la IA, han creado una situación en la que los responsables políticos están inusualmente abiertos a acciones con visión de futuro. Bárbol y su bosque están despertando.

Soy optimista respecto a la búsqueda de soluciones, ya que muchos de estos problemas —desde la prevención del desplazamiento laboral hasta las pruebas previas al lanzamiento de modelos, pasando por los controles de exportación de chips y otras cuestiones políticas relacionadas con la IA, como el consumo de energía— gozan de un amplio respaldo político. Existe un futuro ambicioso pero realista en el que una amplia coalición no partidista, impulsada por el reconocimiento directo de los desafíos que plantea la IA, propiciará la adopción de políticas sensatas y con visión de futuro mucho más rápidamente de lo habitual. Cuanto antes lo logremos, antes podremos disfrutar todos de los increíbles beneficios de la IA.

Me gustaría agradecer a Allan Dafoe, Mariano-Florentino Cuéllar, Richard Fontaine, Buddy Shah, Vas Narasimhan, Matt Yglesias, Nick Beckstead, Jason Matheny, Brad Carson y a muchos miembros del personal de Anthropic por sus comentarios y sugerencias sobre los borradores de este ensayo.

Notas al pie:

[1] Discuto los riesgos biológicos y de autonomía en mi ensayo The Adolescence of Technology. El Instituto Anthropic también ha publicado algunos datos internos iniciales en When AI Builds Itself sobre la posibilidad de la auto-mejora recursiva, o modelos que son capaces de construir de forma autónoma mejores modelos..
[2] Este fenómeno no es teórico: lo hemos observado en múltiples ocasiones en nuestros propios marcos de gobernanza voluntaria, como nuestra Política de Escalado Responsable. Si nos imponemos una lista fija o rígida de requisitos de seguridad para futuros modelos de IA, es muy probable que los requisitos que resultan ser de poca importancia acaben consumiendo el 95 % de nuestros esfuerzos de cumplimiento, mientras que, al mismo tiempo, descubrimos que algunas de las mayores fuentes de riesgo no estaban previstas en nuestra lista. Los marcos voluntarios pueden modificarse y adaptarse, pero esto es mucho más difícil con la legislación. Mis intentos de abordar este dilema se reflejan en mis dos cartas públicas sobre la SB 1047, una ley de California de 2024 que pretendía abordar los riesgos catastróficos y sobre la cual tenía sentimientos encontrados por las razones antes mencionadas.
[3] Por ejemplo, los riesgos biológicos graves podrían ser mucho más difíciles de manejar que los ciberataques.
[4] Consultar The Adolescence of Technology para un análisis más detallado de por qué la lógica que ha llevado a una rápida recuperación del mercado laboral y a la ausencia de un desplazamiento laboral duradero en otras tecnologías puede no aplicarse a la IA, y en particular por qué los mecanismos adaptativos habituales, como la paradoja de Jevon o la ventaja comparativa, pueden verse superados por el ritmo de la tecnología.
[5] Como ejemplo, la gente sigue dedicando su vida a jugar Ajedrez o escalar montañas, a pesar de que las máquinas o los helicópteros lo hacen mejor.
[6] Esto, en esencia, les da a las personas un incentivo adicional para migrar a un nuevo trabajo y comenzar a capacitarse para una nueva trayectoria profesional, incluso cuando pueda ser doloroso a corto plazo, pagándoles la diferencia entre su salario nuevo y el antiguo, si el nuevo es más bajo.
[7] Para obtener más información sobre este tema, consultar The Adolescence of Technology.