Durante años, los responsables de las compañías que construyen los sistemas de inteligencia artificial más avanzados han advertido de que su tecnología podría llegar a causar daños extraordinarios mientras competían por desarrollarla cada vez más deprisa. Esa contradicción ha empezado a romperse esta semana. Dario Amodei quiere ralentizar la IA de frontera. Sam Altman dice que OpenAI ya ha detenido entrenamientos cuando no ha podido justificar suficientemente su seguridad. Elon Musk respalda el freno. Demis Hassabis considera correcta la dirección.
La coincidencia entre algunos de los mayores rivales de la industria llegó el sábado, después de cinco días en los que una dimisión en Anthropic, nuevos detalles sobre sistemas que realizaron acciones cibernéticas no previstas, avances en mejora recursiva y una rebelión de algunos de los matemáticos más prestigiosos del mundo llevaron al centro del debate una cuestión hasta ahora confinada principalmente a los equipos de seguridad: las capacidades de los modelos pueden estar avanzando más deprisa que los mecanismos diseñados para controlarlos.
Amodei terminó de elevar esa preocupación al máximo nivel corporativo con We Must Pace the Frontier, un ensayo publicado el sábado en el que sostiene que «debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA». El consejero delegado de Anthropic no plantea detener el entrenamiento ni congelar la investigación. Quiere introducir tiempo entre los sucesivos saltos de capacidad para que alineamiento, interpretabilidad, ciberseguridad y supervisión puedan alcanzarlos.
Amodei plantea un sistema en tres niveles. El primero, que Anthropic se compromete a aplicar unilateralmente, consiste en dar a evaluadores externos acceso continuado y casi equivalente al de un empleado para supervisar los entrenamientos, comprobar las prácticas de seguridad y comunicar incidentes. El segundo requiere que los principales laboratorios de los países democráticos acuerden estándares comunes y límites al avance de capacidades cuando las salvaguardas no estén preparadas. El tercero traslada esa coordinación al plano internacional, incluida China, para evitar que una ralentización unilateral se convierta en una desventaja estratégica.
Su propuesta parte de una regla sencilla: las capacidades de los modelos no deberían seguir avanzando si alineamiento, monitorización y mecanismos de control no pueden avanzar al mismo ritmo.
La diferencia importa. Las grandes compañías llevan años invirtiendo en seguridad mientras incrementan simultáneamente el tamaño, el cómputo y la autonomía de sus sistemas. Amodei sostiene ahora que esa estrategia ya no basta.
Los incidentes han dejado de ser hipotéticos
Dos acontecimientos recientes explican el cambio. El primero es el creciente uso de la propia inteligencia artificial para desarrollar la siguiente generación de modelos. Anthropic y OpenAI reconocen que sus sistemas ya ayudan a investigadores, generan datos y aceleran tareas relacionadas con la construcción de nuevas IA. Una versión plenamente autónoma de la llamada mejora recursiva todavía no existe, pero el proceso comienza a acortar los ciclos de investigación.
Jakub Pachocki, científico jefe de OpenAI, había dejado constancia de esa preocupación antes de que estallara la crisis de esta semana. En An Alien Mind, publicado el 6 de septiembre, argumentó que ningún laboratorio ha resuelto aún el alineamiento y la monitorización hasta un nivel que permita mantener indefinidamente el máximo ritmo de escalado. También anticipó que las ralentizaciones voluntarias deberían convertirse en algo habitual mientras no existan umbrales de seguridad compartidos.
El segundo acontecimiento es menos teórico. En julio, durante evaluaciones internas de ciberseguridad, modelos de OpenAI eludieron mecanismos destinados a mantenerlos aislados de internet, utilizaron canales de comunicación no autorizados, explotaron vulnerabilidades y accedieron a sistemas de terceros, entre ellos los de Hugging Face. OpenAI publicó en agosto una investigación del incidente y reconoció que las acciones se desviaron del objetivo de las tareas asignadas. Los modelos operaban durante las pruebas con salvaguardas reducidas. El informe de OpenAI sobre el incidente
Nadie resultó herido y los daños económicos fueron limitados. Para Amodei, precisamente ahí reside el aviso: un comportamiento similar en sistemas significativamente más capaces podría tener consecuencias muy distintas. Anthropic también ha documentado incidentes durante sus propias evaluaciones, por lo que el responsable de la compañía rechaza tratar el episodio como un problema exclusivo de su competidor.
La respuesta que propone empieza dentro de las propias empresas. Anthropic dará a evaluadores externos acceso continuado comparable al de sus equipos internos de riesgo, incluidos espacios de trabajo, herramientas y determinadas conversaciones con empleados. Esos revisores podrán hacer públicas sus conclusiones. Altman anunció pocas horas después que OpenAI hará lo mismo.
Una dimisión hizo público el debate que ocurría dentro
La inquietud salió definitivamente de los equipos especializados el martes. Jacob Coxon, investigador que había trabajado primero en OpenAI y después en Anthropic, anunció su dimisión y acusó a ambas compañías de estar «jugando con nuestras vidas» mientras corren hacia sistemas capaces de contribuir a su propia mejora.
Su frase más difundida fue todavía más grave: afirmó que las personas que construyen IA creen sinceramente que la tecnología podría acabar con todos los humanos antes de terminar la década.
La afirmación requiere una precisión esencial. Coxon no dijo que la extinción humana vaya a ocurrir en 2030 ni que los modelos actuales puedan provocarla. En una entrevista posterior explicó que considera bajo el riesgo existencial de los sistemas actuales y sitúa su preocupación en una posible transición hacia superinteligencia mediante mejora recursiva.
La diferencia no rebajó la repercusión porque otros investigadores de Anthropic salieron públicamente a respaldar el núcleo de su diagnóstico. Evan Hubinger, responsable de investigación de alineamiento, escribió que él asigna personalmente una probabilidad superior al 10% durante la próxima década y reconoció que la compañía todavía no dispone de un plan resuelto para alinear una eventual superinteligencia.
Geoffrey Hinton, una de las figuras clave en el desarrollo de las redes neuronales modernas y premio Nobel de Física, añadió otra referencia esta semana. Preguntado por una probabilidad del 10% de que la IA acabe con la humanidad durante la próxima década, respondió que no le parecía una estimación irrazonable, aunque inmediatamente introdujo la cautela decisiva: nadie sabe asignar con rigor un porcentaje a un acontecimiento sin precedentes.
La relevancia de esas cifras está menos en su precisión, que sus propios autores cuestionan, que en el lugar desde el que se formulan. La discusión ha pasado de organizaciones dedicadas al riesgo existencial a investigadores que trabajan directamente sobre los modelos y, finalmente, a los consejeros delegados que deciden cuánto y cuándo seguir escalándolos.
Altman admite que OpenAI ya está deteniendo entrenamientos
La reacción de Sam Altman fue más allá de apoyar el ensayo de su antiguo colega. En una entrevista publicada este sábado por Fortune, el consejero delegado de OpenAI explicó que la compañía está pausando entrenamientos hasta disponer de un «caso de seguridad» con el que se sienta suficientemente cómoda.
«Si no podemos, no deberíamos impulsar más las capacidades», afirmó al explicar la relación que, a su juicio, debe existir entre capacidad, monitorización y alineamiento.
I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we’ve had at OpenAI in recent weeks.
Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We’ll have more to share soon. https://t.co/1YhhIybZX7
— Sam Altman (@sama) September 12, 2026
También consideró inaceptable asumir una probabilidad del 10% de acabar con la humanidad, aunque rechazó que pueda asignarse de forma fiable un porcentaje concreto al riesgo. OpenAI, añadió, no debería continuar entrenando un modelo si no puede justificar por qué hacerlo resulta aceptable.
Musk reaccionó al manifiesto de Amodei con tres palabras: «Dario tiene razón». Hassabis, cofundador de Google DeepMind, consideró posteriormente correcta la dirección propuesta, aunque advirtió de que los detalles necesitan desarrollo. La coincidencia es inusual entre ejecutivos que compiten por talento, clientes, capital, chips y liderazgo tecnológico.
Dario is right https://t.co/EwKgqQGaUo
— Elon Musk (@elonmusk) September 12, 2026
Tampoco equivale a un consenso de Silicon Valley. Jensen Huang, consejero delegado de Nvidia, ha rechazado los escenarios de extinción y esta misma semana sugirió que parte del énfasis de los laboratorios en las amenazas cibernéticas puede generar demanda para nuevos productos de seguridad. Meta tampoco se ha sumado al esquema de Amodei y la regulación que reclaman los grandes laboratorios despierta sospechas entre quienes temen que unas obligaciones costosas consoliden a las compañías que ya dominan la frontera.
El problema ya no cabe dentro de los laboratorios
La crisis también ha alcanzado esta semana un terreno aparentemente alejado de la seguridad. OpenAI anunció el lunes una solución al problema de existencia y regularidad de Navier-Stokes, uno de los siete Problemas del Milenio, mediante un sistema interno todavía no disponible públicamente. La demostración deberá superar el proceso de verificación de la comunidad matemática antes de que pueda considerarse definitivamente resuelto el problema.
Tres días después, Terence Tao y otros 24 ganadores de la medalla Fields publicaron una declaración extraordinariamente crítica. Su preocupación no es únicamente que la IA pueda realizar trabajo matemático. Sostienen que los laboratorios están utilizando grandes problemas abiertos como pruebas de capacidad mientras el objetivo de la matemática académica incluye comprensión conceptual, transmisión del conocimiento, atribución y creación de nuevas preguntas. Tao confirmó que la declaración cuenta con 25 firmantes iniciales. La declaración publicada por Terence Tao
Es una vertiente diferente del mismo cambio tecnológico. Los modelos empiezan a intervenir en tareas que servían para medir conocimiento, razonamiento o capacidad investigadora al mismo tiempo que los laboratorios los utilizan para acelerar el desarrollo de nuevos modelos.
El plan de Amodei intenta introducir un mecanismo de control antes de que ese ciclo gane más velocidad: evaluadores independientes dentro de las compañías, estándares comunes entre los laboratorios de países democráticos y, finalmente, acuerdos internacionales que incluyan a China. El último paso es también el más difícil. Frenar unilateralmente puede mejorar la seguridad de un sistema y entregar al mismo tiempo ventaja tecnológica a un competidor que decida continuar.
Ahí queda situada la industria después de una semana excepcional. Sus principales actores continúan convencidos del enorme valor económico y científico de la inteligencia artificial, y ninguno propone abandonar su desarrollo. Lo que ha cambiado es la disposición de algunos de ellos a aceptar que seguir avanzando a la máxima velocidad disponible puede dejar de ser una estrategia técnicamente defendible.
La carrera por construir la IA más capaz entra así en una fase diferente: los laboratorios tendrán que demostrar que las promesas de ralentización pueden convertirse en límites verificables incluso cuando detenerse tenga un coste comercial y el competidor que tienen al lado, o al otro lado del Pacífico, conserve incentivos para seguir corriendo.
