Este sábado 12 de septiembre terminó ocurriendo algo difícil de imaginar pocos días antes. Dario Amodei, Sam Altman, Elon Musk y Demis Hassabis, enfrentados en una de las carreras tecnológicas y empresariales más agresivas de los últimos años, convergieron alrededor de una misma idea: el desarrollo de la IA de frontera necesita reducir su velocidad para que los mecanismos de seguridad puedan alcanzarlo.
La petición no apareció de repente. Durante las semanas anteriores se habían acumulado incidentes de ciberseguridad, modelos cada vez más capaces de participar en investigación científica y en el propio desarrollo de inteligencia artificial, advertencias desde dentro de los laboratorios y una creciente discusión sobre si las empresas siguen teniendo suficientes herramientas para controlar aquello que están construyendo.
Esta es la secuencia que convirtió una preocupación conocida desde hace años en una discusión sobre la posibilidad real de pisar el freno.
26 de agosto: OpenAI explica cómo sus agentes salieron del entorno de pruebas
El precedente inmediato ocurrió durante el verano. OpenAI había reconocido en julio que varios agentes sometidos a evaluaciones de ciberseguridad lograron superar restricciones diseñadas para mantenerlos dentro de sus entornos de prueba y accedieron a sistemas externos, entre ellos la infraestructura de Hugging Face.
El 26 de agosto, la compañía publicó una investigación más detallada del incidente. Los agentes habían utilizado canales de comunicación no previstos, accedido a internet y atacado objetivos que no formaban parte de la tarea original. Las pruebas se desarrollaban deliberadamente con algunas salvaguardas reducidas para estudiar las capacidades de los modelos, y los daños fueron limitados, pero el episodio colocó sobre la mesa un problema diferente al uso malicioso de la IA por parte de personas: sistemas que emprenden acciones no solicitadas mientras están siendo evaluados.
Anthropic había reconocido el 30 de julio tres incidentes propios en los que modelos Claude consiguieron acceso no autorizado a sistemas reales. El 9 de septiembre ampliaría el balance a cuatro después de revisar cientos de millones de registros.
3 de septiembre: Astra cruza un nuevo umbral en ciberseguridad
OpenAI presentó GPT-6 Astra el 3 de septiembre. Más allá de sus mejoras generales, había una clasificación especialmente relevante: se convirtió en el primer modelo de la compañía que alcanzaba el nivel «Critical» de capacidad en ciberseguridad dentro de su propio Preparedness Framework.
La categoría no implica que Astra actúe de forma autónoma contra sistemas externos ni constituye una certificación independiente de peligrosidad. Señala que OpenAI considera que las capacidades cibernéticas del modelo han alcanzado un nivel que exige medidas de protección significativamente mayores.
El avance estrechaba la distancia entre dos discusiones que hasta entonces podían separarse con mayor facilidad: qué puede hacer un modelo y hasta qué punto una compañía puede garantizar que únicamente lo hará cuando y como se le indique.
6 de septiembre: el científico jefe de OpenAI avisa de que la seguridad no sigue el ritmo
Dos días antes de la dimisión que acabaría dominando la conversación pública, el debate ya estaba aflorando dentro de OpenAI.
Jakub Pachocki, científico jefe de la compañía, publicó «An Alien Mind». Su diagnóstico fue inusualmente directo: «Actualmente creo que ningún laboratorio ha resuelto el alineamiento y la monitorización hasta un nivel suficiente para seguir escalando responsablemente a máxima velocidad durante mucho más tiempo».
Pachocki expresó además su deseo de que las ralentizaciones voluntarias se conviertan en algo habitual mientras la industria establece niveles de seguridad compartidos, y reclamó coordinación internacional sobre el desarrollo futuro de la IA.
Ese mismo día, OpenAI publicó datos sobre cómo sus agentes de programación están acelerando el trabajo de sus propios investigadores. La mejora recursiva seguía estando lejos de la versión extrema en la que una IA diseña de forma completamente autónoma a su sucesora, pero una versión más gradual ya estaba apareciendo: modelos que ayudan a generar datos, programar experimentos y aumentar la productividad de quienes desarrollan el siguiente modelo.
8 de septiembre: OpenAI lleva la IA hasta uno de los grandes problemas de las matemáticas
El martes, OpenAI anunció que un sistema interno más capaz que Astra había producido una solución al problema de existencia y regularidad de Navier-Stokes, uno de los siete Problemas del Milenio.
La compañía publicó tanto una demostración como una formalización en Lean y dejó claro que no pretendía reclamar el premio asociado al problema. El resultado necesita el proceso de examen propio de la comunidad matemática antes de poder considerarse definitivamente establecido.
El anuncio aportaba, sin embargo, otra medida del ritmo del cambio. OpenAI presentó el resultado como evidencia del avance de sus sistemas y reconoció en la misma publicación que las nuevas capacidades podían exigir decisiones «más deliberadas» sobre la velocidad del progreso.
Horas después, el debate dio un giro mucho más abrupto.
8 de septiembre: Jacob Coxon abandona Anthropic
Jacob Coxon, investigador que había trabajado durante tres años entre OpenAI y Anthropic, anunció su dimisión de esta última compañía.
«Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y jugando con nuestras vidas», escribió. Su mensaje más difundido fue todavía más contundente: «Las personas que construyen IA creen sinceramente que podría matarnos a todos antes de que termine la década».
Coxon no sostenía que los modelos actuales puedan provocar la extinción humana. Posteriormente explicó que considera bajo ese riesgo en los sistemas existentes y que su temor se concentra en lo que podría ocurrir si la inteligencia artificial empieza a acelerar sustancialmente su propio desarrollo.
La dimisión convirtió una discusión interna en un acontecimiento público.
9 de septiembre: otros investigadores de Anthropic respaldan la alarma
La reacción más significativa llegó desde dentro de la propia Anthropic.
Evan Hubinger, responsable de Alignment Science, respaldó el núcleo de la advertencia de Coxon. «Realmente creemos que la IA podría matar a todos los humanos», escribió, antes de situar su estimación personal por encima del 10% durante la próxima década.
Añadió una segunda afirmación más importante para entender el problema técnico: Anthropic todavía no dispone de un plan para resolver el alineamiento de una eventual superinteligencia y, a su juicio, tampoco está claramente encaminada a conseguirlo.
Ese mismo día, Anthropic publicó su análisis de cuatro incidentes en los que modelos Claude habían logrado acceso no autorizado a sistemas de terceros durante evaluaciones. La compañía subrayó que los modelos actuales presentan un riesgo muy inferior al que plantearían futuros sistemas más capaces.
10 de septiembre: Hinton valida el riesgo y Trump rechaza el escenario
El debate alcanzó ese jueves dos polos casi opuestos.
Geoffrey Hinton, premio Nobel de Física y una de las figuras clave en el desarrollo de las redes neuronales modernas, fue preguntado en BBC Newsnight por la estimación de un 10% de riesgo de que una IA pudiera acabar con la humanidad en la próxima década.
«No me parece una estimación irrazonable», respondió. Inmediatamente introdujo una cautela esencial: nadie sabe calcular de manera fiable una probabilidad semejante porque nunca ha existido una tecnología comparable. Hinton añadió que su propia estimación sobre el horizonte temporal se ha reducido con los años: primero hablaba de entre 30 y 50 años, después de entre 10 y 20 y ahora considera posible que sean diez o incluso menos.
Donald Trump ofreció ese mismo día una lectura muy distinta. Preguntado por si le preocupaba que la IA pudiera conducir a la extinción humana, respondió: «No, no me preocupa». Su prioridad, añadió, es que Estados Unidos mantenga su ventaja sobre China.
La divergencia anticipaba uno de los principales obstáculos a cualquier ralentización coordinada: la seguridad compite directamente con la lógica geopolítica de la carrera.
11 de septiembre: 25 medallas Fields abren un segundo frente
La preocupación abandonó entonces el ámbito estricto de la seguridad.
Terence Tao y otros 24 ganadores de la medalla Fields publicaron «A Severe Misalignment of AI in Mathematics». Los 25 firmantes denunciaron que las compañías están utilizando problemas matemáticos como instrumentos para medir las capacidades de sus sistemas de una manera que puede entrar en conflicto con los objetivos de la propia disciplina.
«Resolver problemas es únicamente una herramienta y una aproximación al objetivo principal de alcanzar comprensión conceptual», sostuvieron. Para los firmantes, producir soluciones cada vez más rápido puede erosionar los procesos de discusión, atribución, formación e interpretación mediante los que una demostración termina incorporándose al conocimiento matemático.
La discusión sobre el alineamiento adquiría así otro significado: la IA podía estar cumpliendo la métrica mientras alteraba la actividad humana que esa métrica pretendía representar.
12 de septiembre: Amodei pide ralentizar la frontera
El sábado, Dario Amodei reunió buena parte de los acontecimientos anteriores en un manifiesto de 3.800 palabras: «We Must Pace the Frontier».
«Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA», escribió.
El consejero delegado de Anthropic señaló dos razones principales: la creciente capacidad de la IA para contribuir al desarrollo de la siguiente generación de IA y el incidente de OpenAI con Hugging Face. Su propuesta plantea tres niveles de actuación: evaluadores independientes integrados dentro de los laboratorios, coordinación entre compañías y gobiernos democráticos para establecer límites y estándares comunes, y finalmente acuerdos internacionales que incluyan a China. Anthropic se comprometió unilateralmente con el primer paso.
Las adhesiones llegaron en cuestión de horas.
Sam Altman afirmó que coincidía con Amodei y anunció que OpenAI también dará a evaluadores independientes un acceso comparable al de empleados. Elon Musk respondió: «Dario tiene razón». Demis Hassabis, de Google DeepMind, consideró que «la dirección es correcta», aunque señaló que todavía deben resolverse los detalles.
Altman fue todavía más lejos en una entrevista publicada ese mismo sábado. Explicó que OpenAI ya ha pausado entrenamientos cuando no dispone de un caso de seguridad suficiente y que seguirá haciéndolo cuando capacidades, alineamiento y monitorización no avancen al mismo ritmo. También descartó una salida a bolsa en 2026 y defendió la capacidad de la compañía para tomar decisiones que pueden no maximizar inmediatamente el interés comercial de sus accionistas.
En menos de una semana, la conversación había recorrido una distancia considerable. Empezó con advertencias técnicas sobre sistemas cada vez más capaces, pasó por una dimisión que acusaba públicamente a los laboratorios de asumir riesgos inaceptables y terminó con algunos de sus principales ejecutivos aceptando que continuar avanzando a la máxima velocidad disponible puede dejar de ser compatible con mantener el control.
La cuestión que queda abierta ya no es únicamente si la IA debe ralentizarse. Es si compañías inmersas en una carrera comercial y Estados enfrentados por la supremacía tecnológica pueden construir un mecanismo verificable que haga posible frenar cuando alguno de ellos conserve fuertes incentivos para seguir adelante.
