Microsoft quiere que los sistemas de inteligencia artificial más avanzados puedan detenerse mientras están trabajando si su comportamiento se desvía de lo previsto. El consejero delegado de la compañía, Satya Nadella, ha reclamado una arquitectura de seguridad de la IA basada en controles externos al propio modelo, trazabilidad de sus acciones y un «freno de emergencia» que permita a una persona autorizada pausar o apagar el sistema durante la ejecución de una tarea.
La propuesta desplaza parte del problema desde el entrenamiento del modelo hacia la infraestructura que lo rodea. En un mensaje publicado el sábado en X, Nadella sostiene que los modelos no deterministas deben operar dentro de sistemas diseñados con mecanismos deterministas, controles humanos y procedimientos de funcionamiento fiables.
«Necesitamos rodear los modelos no deterministas de un diseño de sistemas sólido y determinista, controles humanos y procedimientos operativos fiables, y establecer estándares para la industria allí donde los actuales sean insuficientes», escribió.
— Satya Nadella (@satyanadella) October 10, 2026
La cuestión adquiere mayor peso a medida que los modelos dejan de limitarse a producir texto y empiezan a utilizar navegadores, ejecutar código, consultar servicios externos o encadenar acciones mediante agentes. En esos entornos, un resultado incorrecto puede convertirse en una operación real antes de que un usuario llegue a revisarlo.
Separar el modelo de los controles que lo gobiernan
Nadella plantea que la confianza en sistemas de IA avanzada no debería depender únicamente de que el modelo se comporte conforme a lo esperado. Su propuesta consiste en separar el modelo de la infraestructura que organiza y autoriza sus acciones, de forma que las medidas de seguridad puedan seguir funcionando incluso cuando el comportamiento del modelo resulte imprevisible.
«No podemos tratar la superinteligencia como un conjunto de cajas negras anidadas y limitarnos a aceptar o rechazar sus recomendaciones, respuestas y acciones», afirmó el directivo.
Ese diseño incluye lo que denomina «principios de observabilidad»: diversidad de modelos, registro comprensible por humanos de las acciones ejecutadas, pruebas continuas del sistema, controles independientes, capacidad de auditoría, mecanismos de contención y procedimientos para comunicar incidentes.
Uno de los requisitos más concretos sería disponer de evidencia resistente a manipulaciones sobre las operaciones relevantes realizadas por el sistema. La intención es que una organización pueda reconstruir qué hizo un agente, qué recursos utilizó, qué decisiones tomó y bajo qué autorizaciones, en lugar de depender exclusivamente de los registros generados por el propio modelo.
También plantea tratar los modelos avanzados, tanto aquellos cuyos parámetros permanecen cerrados como los distribuidos con pesos accesibles, bajo una lógica similar a la utilizada frente a riesgos internos de seguridad. «Debemos asumir que un modelo está comprometido y contenerlo desde el principio», escribió Nadella. El equivalente operativo sería ese «freno de emergencia» bajo control humano.
Para las empresas que despliegan agentes sobre sistemas corporativos, esta separación tiene una consecuencia directa: las restricciones de permisos, identidad, acceso a datos o ejecución de operaciones tendrían que residir fuera del modelo y ser verificables independientemente de él.
Los incidentes con agentes elevan el debate sobre la seguridad de la IA
La intervención de Nadella coincide con varios episodios que han mostrado los límites de las actuales técnicas de control cuando los modelos reciben acceso a herramientas externas.
Anthropic reconoció recientemente que algunos de sus agentes, mientras realizaban evaluaciones internas conectadas a Internet, aprovecharon vulnerabilidades de páginas web, accedieron a bases de datos evitando pagos y utilizaron servicios de acortamiento de URL para sortear restricciones. Uno de los sistemas llegó a enviar una denuncia falsa por homicidio a la policía de Filadelfia.
La compañía atribuyó parte del comportamiento a fallos en sus entornos de entrenamiento que incentivaban involuntariamente la búsqueda de atajos, una modalidad de «reward hacking» en la que el sistema encuentra formas de maximizar una recompensa sin cumplir realmente el objetivo previsto.
Anthropic decidió retirar temporalmente el acceso a Internet en sus evaluaciones internas hasta disponer de mecanismos suficientes para monitorizar y controlar esos agentes. También anunció que trasladaría parte de ellos a infraestructuras gestionadas centralmente con mayores medidas de contención.
El episodio ilustra precisamente la distinción que plantea Nadella. El entrenamiento orientado a que un modelo siga determinadas instrucciones constituye una capa de seguridad, pero deja de ser la única cuando el software puede interactuar autónomamente con servicios externos.
Los controles tradicionales de ciberseguridad, como la segmentación, los permisos mínimos, los registros independientes y la capacidad de revocar accesos, empiezan así a trasladarse al diseño de plataformas de IA.
La industria discute hasta dónde debe frenarse el desarrollo
Las propuestas aparecen dentro de un debate más amplio entre los principales laboratorios sobre la velocidad con la que deberían avanzar los modelos de frontera.
El consejero delegado de Anthropic, Dario Amodei, presentó en septiembre un plan para «pace the frontier», que contempla evaluaciones independientes y mecanismos de coordinación entre desarrolladores de los sistemas más avanzados. OpenAI también expresó entonces su disposición a participar en algunas medidas de este tipo.
Las advertencias han ido más allá de los responsables de las compañías. Un investigador abandonó Anthropic en septiembre acusando a los principales laboratorios de estar «Jugando con nuestras vidas», mientras miembros de los equipos dedicados al alineamiento han planteado públicamente probabilidades significativas de consecuencias extremas derivadas del desarrollo de sistemas cada vez más capaces.
Estas estimaciones continúan siendo objeto de fuerte discusión dentro de la comunidad científica y tecnológica. Sí existe, sin embargo, un problema operativo más inmediato: los agentes capaces de ejecutar acciones amplían la superficie de riesgo independientemente de que lleguen o no a desarrollarse sistemas con capacidades superiores a las humanas.
Washington combina supervisión y carrera tecnológica con China
La posición política estadounidense se mueve en otra dirección respecto a las propuestas destinadas a ralentizar el desarrollo. La Administración de Donald Trump ha situado la competencia tecnológica con China entre sus prioridades y mantiene una estrategia favorable a evitar restricciones que puedan reducir el ritmo de innovación de las compañías estadounidenses.
A comienzos de octubre, Trump nombró al director de Inteligencia Nacional, Jay Clayton, responsable de la nueva «Super Intelligence Force», un grupo encargado de coordinar la política federal sobre los riesgos y oportunidades de la inteligencia artificial y presentar recomendaciones a la Casa Blanca en un plazo de 120 días.
El órgano reúne también a responsables de la Comisión Federal de Comercio, el Departamento de Defensa y la Oficina de Gestión de Personal. Sus trabajos incluyen riesgos de ciberseguridad, posibles efectos sobre infraestructuras críticas y mecanismos de cooperación entre el Gobierno y los desarrolladores de IA.
La creación del grupo introduce una capa institucional de supervisión, aunque la Administración mantiene su rechazo a frenar de manera general el desarrollo de modelos avanzados. El resultado es una aproximación que intenta compatibilizar controles de seguridad con una política industrial orientada a preservar la ventaja tecnológica estadounidense.
La propuesta de Nadella encaja parcialmente con esa lógica porque no plantea detener la carrera por modelos más potentes, sino modificar las condiciones bajo las que pueden operar.
«El sistema de superinteligencia más fiable no será aquel con el modelo en el que más confiemos. Será aquel que nos permita confiar lo menos posible en el modelo», resumió el responsable de Microsoft.
Para los departamentos tecnológicos, el cambio relevante está en dónde se coloca la confianza. Si los agentes de IA reciben acceso creciente a correo electrónico, código, sistemas financieros, aplicaciones empresariales o infraestructuras críticas, las organizaciones tendrán que diseñar controles capaces de seguir funcionando cuando el propio modelo falle, interprete incorrectamente una instrucción o encuentre una forma imprevista de alcanzar su objetivo. La capacidad de detener una tarea deja entonces de ser una función excepcional y pasa a formar parte de la arquitectura operativa del sistema.
