Ralentizar la inteligencia artificial parece una propuesta sencilla hasta que llega el momento de decidir quién puede ordenar a OpenAI, Anthropic o Google que detengan un entrenamiento de miles de millones de dólares mientras sus competidores continúan avanzando. Ese es el problema que Dario Amodei intenta resolver después de pedir públicamente que la industria reduzca el ritmo de desarrollo de la IA de frontera.
Su propuesta convierte una discusión técnica sobre seguridad en un problema de gobernanza. Para que una compañía pueda frenar sin entregar ventaja comercial a las demás, necesita saber que sus rivales harán algo parecido. Para que ese compromiso resulte creíble, alguien debe comprobarlo. Y para que funcione más allá de Estados Unidos, habría que encontrar alguna forma de verificar que China tampoco aprovecha la ralentización para acelerar.
El plan presentado en «We Must Pace the Frontier» intenta cubrir esas tres capas. Empieza dentro de las empresas, continúa con coordinación entre laboratorios y gobiernos democráticos y termina en un eventual acuerdo internacional. Anthropic se compromete unilateralmente con el primer paso. Los siguientes dependen de actores que todavía no han asumido obligaciones equivalentes.
Auditores dentro del laboratorio
La primera pieza del sistema son los «embedded evaluators», equipos externos con un nivel de acceso próximo al de los empleados encargados de evaluar riesgos.
La propuesta de Amodei es concreta. Anthropic quiere proporcionarles escritorios dentro de sus oficinas, acreditaciones, portátiles corporativos y acceso a herramientas y espacios de trabajo comparables a los de sus equipos internos de evaluación. También pretende establecer normas para que puedan hablar directamente con empleados y consultar información relacionada con entrenamientos, salvaguardas e incidentes.
Su función sería comprobar si la compañía aplica realmente los procedimientos de seguridad que declara públicamente, evaluar modelos durante su desarrollo y ofrecer una segunda opinión sin los incentivos comerciales de quienes construyen el producto.
Hay además una diferencia relevante respecto a una auditoría convencional. Los evaluadores podrían publicar sus conclusiones sobre niveles de riesgo, incidentes, prácticas internas y limitaciones al acceso recibido sin control editorial de Anthropic. La compañía conservaría capacidad para eliminar información sometida a secreto comercial, obligaciones legales o requisitos de seguridad, pero Amodei asegura que no podría retirar una conclusión simplemente porque fuera desfavorable.
Sam Altman ya ha anunciado que OpenAI adoptará también evaluadores independientes con acceso comparable al de empleados.
El modelo recuerda deliberadamente a la supervisión financiera. Amodei menciona los supervisores que trabajan cerca de las entidades bancarias para comprobar de forma continuada si cumplen determinadas reglas. Su apuesta es que la inteligencia artificial necesita un mecanismo equivalente porque una revisión realizada únicamente cuando el modelo está terminado puede llegar demasiado tarde.
La propuesta, sin embargo, deja abiertas cuestiones institucionales importantes: quién selecciona a esos evaluadores, quién financia su trabajo, bajo qué régimen jurídico operan y qué consecuencias tiene detectar un riesgo que la compañía decide asumir.
Ahí empieza el segundo nivel.
Un modelo podría llegar a un «checkpoint»
Amodei quiere que la velocidad del desarrollo dependa de lo que un sistema sea capaz de hacer.
Entre las posibilidades que plantea aparece una serie de «checkpoints». Si un modelo alcanza una capacidad determinada, la compañía debería demostrar que dispone de propiedades de seguridad suficientes antes de continuar aumentando sus prestaciones.
El ejemplo que utiliza ayuda a entender el mecanismo. Si un sistema alcanza capacidad suficiente para escapar o superar los métodos habituales de aislamiento, el siguiente paso de desarrollo debería requerir evidencias de que resulta muy improbable que intente salir de su entorno y tomar el control de un gran número de ordenadores. Esas garantías podrían combinar evaluaciones de comportamiento, técnicas de interpretabilidad y auditorías de los propios entornos de entrenamiento.
El planteamiento desplaza la regulación desde el tamaño del modelo hacia sus capacidades observadas. También podrían limitarse elementos como el cómputo utilizado durante el entrenamiento o el empleo interno de IA para desarrollar nueva IA, aunque Amodei reconoce que esas métricas pueden ser más fáciles de manipular.
El resultado sería una especie de escalado condicionado. Una nueva generación de modelos podría avanzar mientras seguridad y capacidad progresen juntas. Si las capacidades superan los controles disponibles, el desarrollo tendría que reducir su ritmo hasta recuperar el equilibrio.
Demis Hassabis lleva meses defendiendo una arquitectura parecida. En julio propuso un organismo para establecer estándares de IA de frontera inspirado parcialmente en FINRA, la organización que supervisa parte de los mercados financieros estadounidenses. Su esquema contempla evaluaciones de ciberseguridad, riesgos biológicos y comportamiento agente, con la posibilidad de endurecer progresivamente las reglas e incluso coordinar una ralentización de los laboratorios si la gravedad del riesgo lo exige.
La coincidencia entre ambos planteamientos empieza a dibujar una posible arquitectura: estándares técnicos comunes, pruebas externas, acceso anticipado a los modelos y capacidad para vincular nuevos saltos de desarrollo al cumplimiento de determinados umbrales.
El obstáculo de la competencia
La coordinación entre rivales introduce inmediatamente otro problema: las mismas compañías que quieren acordar cuándo ralentizar compiten por clientes, capital y cuota de mercado.
Si OpenAI, Anthropic, Google y otros desarrolladores se reúnen para pactar el ritmo de lanzamiento o las condiciones de sus modelos, esas conversaciones pueden entrar en terreno sensible para las normas de competencia. Amodei pide que el Gobierno estadounidense medie o habilite una excepción limitada que permita discutir determinadas cuestiones de seguridad sin que puedan interpretarse como acuerdos anticompetitivos.
Su preferencia es que la regulación termine imponiendo unas obligaciones comunes a todas las compañías de frontera. La vía voluntaria serviría mientras las leyes llegan.
La distancia respecto a la política actual de Washington sigue siendo considerable. La orden ejecutiva firmada por Donald Trump el 2 de junio creó un sistema voluntario por el que determinados modelos de frontera pueden ponerse a disposición del Gobierno hasta 30 días antes de su lanzamiento para realizar evaluaciones de ciberseguridad. El propio texto excluye expresamente que ese mecanismo se convierta por sí mismo en una licencia o autorización obligatoria previa al desarrollo o lanzamiento de modelos.
Amodei está pidiendo un paso adicional: que la supervisión pueda influir en el ritmo al que aumenta la capacidad, no únicamente evaluar un producto antes de que llegue al mercado.
China convierte el freno en una cuestión estratégica
El tercer nivel contiene la contradicción más difícil de resolver. Anthropic quiere ralentizar la carrera y, al mismo tiempo, evitar que Estados Unidos pierda ventaja frente a China.
Amodei sostiene que una reducción unilateral del ritmo podría elevar el riesgo en vez de reducirlo si permite que un actor menos condicionado por las mismas salvaguardas tome la delantera. Por eso vincula su propuesta de seguridad con controles más estrictos sobre la venta de chips avanzados, el acceso remoto a centros de datos, la extracción de capacidades mediante técnicas de «destilación» y el robo de los pesos de los modelos.
Su cálculo consiste en ampliar primero la ventaja estadounidense para disponer después de margen suficiente para negociar.
El manifiesto establece cuatro niveles posibles de acuerdo con China. El más limitado prohibiría usos especialmente peligrosos, como el desarrollo de armas biológicas. Un segundo introduciría pruebas comunes antes de desplegar modelos. El tercero impondría algún tipo de «límite de velocidad» a la mejora recursiva de la IA, inspirado conceptualmente en los acuerdos de limitación de armamento de la Guerra Fría. El cuarto sería una ralentización global amplia, incluso una pausa, una posibilidad que el propio Amodei considera difícil de materializar porque el incentivo para incumplirla sería enorme.
Geoffrey Hinton introduce aquí una objeción distinta. Aunque comparte la preocupación por los riesgos, considera poco plausible impedir durante mucho tiempo que las ideas técnicas se propaguen. Un descubrimiento puede mantenerse en secreto durante un periodo, pero otros investigadores pueden llegar independientemente a soluciones similares. A su juicio, los controles pueden ralentizar el avance, difícilmente detener la difusión del conocimiento.
Ese límite convierte la verificación en la pieza central de cualquier acuerdo. Frenar deja de ser una decisión que una compañía puede tomar por sí sola. Requiere saber qué hacen sus competidores, establecer quién puede inspeccionarlos y definir qué sucede cuando uno de ellos supera un umbral que los demás han acordado respetar.
El manifiesto de Amodei ha conseguido que varios dirigentes de la industria acepten la dirección general. Convertirla en gobernanza efectiva será bastante más difícil. El éxito del modelo dependerá de que empresas que compiten por liderar la tecnología permitan a terceros observar sus procesos más sensibles, de que los gobiernos puedan intervenir sin entregar el control regulatorio a los propios incumbentes y de que Estados Unidos encuentre una fórmula de coordinación con China que ninguno de los dos considere una oportunidad para quedarse atrás.
Ahí se encuentra ahora el problema del freno: construir reglas capaces de sobrevivir precisamente cuando cumplirlas resulte más costoso que romperlas.
