Dario Amodei pide evaluadores externos dentro de los laboratorios, pruebas de seguridad antes de seguir aumentando las capacidades y coordinación entre las principales compañías de inteligencia artificial. Mientras Silicon Valley empieza a discutir cómo construir ese sistema, Europa acaba de activar una parte considerable de la infraestructura regulatoria necesaria para supervisar los modelos más avanzados.
Desde el 2 de agosto, la Comisión Europea puede hacer cumplir las obligaciones del AI Act para los proveedores de modelos de IA de uso general. La Oficina Europea de Inteligencia Artificial puede solicitar documentación técnica, acceder a modelos para evaluarlos, exigir medidas correctoras y, cuando resulte necesario, restringir su disponibilidad en el mercado. Las infracciones pueden terminar en multas de hasta el 3% de la facturación anual mundial de la compañía o 15 millones de euros, la cifra que resulte superior. El marco de aplicación del AI Act atribuye específicamente estas competencias a la AI Office.
Sobre el papel, algunas de las piezas que los principales laboratorios estadounidenses reclaman ahora ya existen en la Unión Europea. La diferencia está en lo que ocurre antes del siguiente salto tecnológico. Bruselas regula los riesgos de los modelos y puede intervenir sobre su comercialización; la propuesta de Amodei pretende condicionar también la velocidad a la que se desarrollan sus capacidades.
Ahí aparece una frontera regulatoria que la legislación europea todavía no ha cruzado.
El AI Act ya distingue los modelos de riesgo sistémico
La regulación europea reserva sus obligaciones más exigentes para los modelos de IA de uso general capaces de producir riesgos sistémicos. Actualmente se presume que un modelo pertenece a esa categoría cuando el cómputo acumulado utilizado durante su entrenamiento supera los 10^25 FLOP, aunque la Comisión puede revisar el umbral y también clasificar otros modelos atendiendo a sus capacidades e impacto. El artículo 51 del AI Act establece ese mecanismo de clasificación.
Para estos sistemas, el artículo 55 impone cuatro obligaciones especialmente relevantes después de los incidentes de ciberseguridad conocidos durante los últimos meses.
Los proveedores deben evaluar sus modelos mediante técnicas que reflejen el estado de la tecnología, incluidas pruebas adversariales destinadas a descubrir vulnerabilidades. También tienen que identificar y mitigar los riesgos sistémicos, registrar y comunicar incidentes graves y mantener un nivel adecuado de ciberseguridad tanto para el modelo como para su infraestructura física. Estas obligaciones forman parte directamente del Reglamento europeo.
La arquitectura resulta especialmente significativa después de que OpenAI y Anthropic hayan reconocido casos en los que sus modelos lograron acceder a sistemas externos durante pruebas de ciberseguridad. Los supuestos que durante la negociación del AI Act podían parecer preventivos empiezan a encontrarse con comportamientos observados en sistemas reales.
Bruselas dispone además de capacidad directa para investigar. La AI Office puede solicitar acceso a un modelo, evaluarlo directamente o recurrir a expertos independientes, pedir información adicional e imponer medidas al proveedor. Entre esas facultades figura, en último término, restringir la disponibilidad pública del modelo. La Comisión detalla estos poderes dentro de su nuevo marco de supervisión.
Es una capacidad considerable para una regulación tecnológica europea. Sin embargo, actúa principalmente sobre el riesgo y la entrada o permanencia de los modelos en el mercado.
Amodei pretende intervenir un paso antes.
El punto que Europa todavía no cubre: cuándo seguir escalando
La propuesta del responsable de Anthropic introduce lo que denomina «checkpoints». Un modelo que alcanza determinadas capacidades no debería continuar avanzando hasta que la compañía pueda demostrar que dispone de salvaguardas adecuadas para el nuevo nivel de riesgo.
Ese principio convierte la seguridad en una condición para seguir aumentando capacidades.
El AI Act puede exigir mitigaciones, evaluaciones o incluso restringir un modelo, pero no establece de forma general que un laboratorio deba detener el entrenamiento de su siguiente generación porque alineamiento, interpretabilidad o monitorización hayan quedado rezagados.
La diferencia es importante para compañías cuyo proceso de investigación nunca se detiene. Una intervención posterior al entrenamiento puede limitar la comercialización de un sistema peligroso. El «pacing» defendido ahora por Anthropic pretende evitar que la siguiente capacidad crítica llegue a desarrollarse sin disponer previamente de herramientas suficientes para controlarla.
Europa se aproxima parcialmente a esa lógica mediante el Código de Buenas Prácticas para modelos de IA de uso general. Su capítulo de Seguridad obliga a los signatarios con modelos de riesgo sistémico a elaborar marcos de seguridad y a anticipar cuándo esperan superar el nivel de riesgo más alto alcanzado por sus propios sistemas.
En concreto, los proveedores deben incorporar previsiones sobre el momento en el que razonablemente esperan que un nuevo modelo supere su máximo nivel anterior de riesgo sistémico. La AI Office ya trabaja con las compañías sobre cómo utilizar esas previsiones dentro de las evaluaciones. El grupo de trabajo europeo dedicado al código abordó precisamente esta cuestión en marzo.
La distancia respecto al plan de Amodei se reduce, aunque permanece un elemento decisivo: anticipar un salto de riesgo no equivale a prohibir que el laboratorio lo ejecute hasta superar una prueba previa de seguridad.
OpenAI y Anthropic ya están dentro del sistema europeo
La posible convergencia resulta todavía más relevante porque prácticamente todos los protagonistas de la discusión estadounidense operan dentro del marco europeo.
Anthropic, OpenAI, Google y Microsoft han firmado el Código de Buenas Prácticas para IA de uso general. xAI se ha adherido específicamente al capítulo de Seguridad y Protección, aunque tendrá que demostrar por otras vías el cumplimiento de sus obligaciones sobre transparencia y propiedad intelectual. La lista oficial de signatarios incluye actualmente a estas compañías.
El código es voluntario como mecanismo de cumplimiento, pero las obligaciones legales a las que responde no lo son. Desde el pasado 2 de agosto, la Comisión puede exigir su cumplimiento y sancionar a los proveedores que vulneren el AI Act. La fase de aplicación efectiva comenzó el 2 de agosto de 2026.
La AI Office también está trabajando en los requisitos que deberían cumplir los evaluadores externos de los modelos de riesgo sistémico. Durante el verano reunió a especialistas para discutir criterios de independencia, cualificación y credibilidad de estas organizaciones. El proceso europeo aborda expresamente el papel de evaluadores externos independientes.
El paralelismo con los «embedded evaluators» de Amodei es evidente, aunque los dos modelos todavía son diferentes. Anthropic propone que los supervisores dispongan prácticamente de acceso de empleado y puedan observar de forma continuada el proceso interno de desarrollo. El sistema europeo permite evaluaciones independientes y acceso regulatorio, pero no establece de manera general la presencia permanente de inspectores dentro de los laboratorios.
Europa tiene regulación, pero apenas frontera propia
El AI Act coloca a la Unión Europea en una posición peculiar dentro del debate que ha estallado esta semana.
Bruselas dispone de una autoridad reguladora, obligaciones específicas para modelos sistémicos, capacidad de evaluación, mecanismos de información de incidentes y poder sancionador. Estados Unidos continúa debatiendo buena parte de esa arquitectura mientras sus propios laboratorios reclaman nuevas reglas.
La ventaja regulatoria europea convive, sin embargo, con una debilidad industrial. La mayoría de los modelos que pueden terminar sometidos a las obligaciones más estrictas se desarrollan fuera de la Unión. Europa puede establecer las condiciones bajo las que OpenAI, Anthropic, Google o xAI ofrecen sus sistemas en su mercado, pero tiene una influencia mucho menor sobre la carrera global por construir la siguiente generación.
Esa limitación será especialmente visible si el debate pasa de controlar modelos a controlar velocidad.
Una obligación de evaluar y mitigar riesgos puede aplicarse a cualquier proveedor que quiera operar en el mercado europeo. Un acuerdo para retrasar el siguiente entrenamiento necesita intervenir sobre decisiones de inversión, capacidad computacional e investigación que se toman principalmente en Estados Unidos y China.
La semana en la que algunos de los mayores laboratorios de IA han empezado a pedir un freno llega, por tanto, cuando Europa acaba de poner en funcionamiento el sistema regulatorio más desarrollado para supervisarlos. El AI Act proporciona una parte de las herramientas que Amodei reclama: evaluación, acceso, mitigación, comunicación de incidentes y capacidad de intervención.
La siguiente discusión es más difícil. Si los propios desarrolladores sostienen que un modelo no debería seguir aumentando sus capacidades hasta demostrar que puede hacerlo con seguridad, los reguladores tendrán que decidir si supervisar el riesgo una vez creado sigue siendo suficiente o si la gobernanza de la IA de frontera debe alcanzar también la decisión de crear el siguiente modelo.
