Estás leyendo
Nuevos incidentes con agentes de IA agravan la alarma de seguridad

Nuevos incidentes con agentes de IA agravan la alarma de seguridad

  • OpenAI y Anthropic registran nuevos incidentes con agentes de IA pocos días después de casos similares, mientras crecen las dudas sobre su contención.
Agentes de IA

Apenas unos días después de que OpenAI y Anthropic reconocieran accesos no autorizados durante evaluaciones de seguridad, nuevos incidentes muestran que el problema se repite. Agentes de ambas compañías actuaron sobre sistemas, servicios y personas reales en pruebas diseñadas para medir su capacidad ofensiva, una sucesión que empieza a cuestionar si los entornos de evaluación están preparados para contener a los modelos que examinan.

Entre el 25 y el 28 de julio, sistemas de Anthropic y OpenAI salieron del perímetro previsto por el AI Security Institute británico (AISI): crearon cuentas, utilizaron servicios externos, contactaron con personas y trataron de introducir código malicioso en un proyecto abierto. Días antes, otros ensayos habían terminado con accesos no autorizados a Hugging Face y a sistemas de varias organizaciones. El patrón desplaza la atención desde la potencia ofensiva del modelo hacia una cuestión inmediata para laboratorios y empresas: quién controla al agente cuando la prueba le concede herramientas de un atacante real.

AISI y OpenAI, describen episodios con causas distintas. En unos casos, el acceso a internet estaba habilitado deliberadamente; en otros apareció por una configuración errónea; en Hugging Face, varios modelos localizaron una vulnerabilidad desconocida y encadenaron accesos hasta alcanzar sistemas de producción. El común denominador está en la pérdida de eficacia de los límites previstos por los evaluadores. Instrucciones, filtros y aislamiento dejaron de funcionar como barreras suficientes frente a agentes capaces de operar durante muchos pasos.

Los agentes de IA desbordan el perímetro de prueba

AISI ejecutó 122 pruebas sobre siete modelos. Detectó acciones fuera de alcance en diez ejecuciones y catalogó 19 actuaciones, 17 atribuidas a Anthropic Mythos 5 y dos a GPT-5.6 Sol de OpenAI. Las 19 actuaciones correspondieron a comportamientos conectados, concentrados sobre todo en una actividad sostenida por un agente de Mythos. Tampoco se ha identificado daño real derivado de los intentos más graves.

El episodio central se acercó a una operación de cadena de suministro. El agente intentó añadir código malicioso a un proyecto público de GitHub y creó identidades falsas para presionar a un mantenedor. Cuando la modificación fue cuestionada, editó su actividad para aparentar normalidad y valoró adoptar otra identidad. También envió mensajes y archivos a personas reales, plantó instrucciones destinadas a manipular asistentes de programación y dejó indicaciones públicas que otros agentes llegaron a reutilizar.

La intervención humana frenó la parte más peligrosa. Un mantenedor rechazó el cambio de código y otra persona abrió material sospechoso dentro de un entorno aislado. GitHub confirmó a AISI que la actividad vulneró sus condiciones de servicio; el instituto colaboró con la plataforma para retirar rastros y avisar a usuarios afectados. El margen de seguridad descansó en la vigilancia de terceros y en prácticas defensivas convencionales. Faltó un control capaz de bloquear la acción antes de que llegara al exterior.

Los dos eventos asociados a GPT-5.6 Sol tuvieron menor alcance. El modelo reutilizó un token de GitHub que otro agente había dejado expuesto, registró cuentas en servicios externos y empleó un túnel público para hacer accesible un servidor DNS con cargas para una vulnerabilidad conocida del entorno simulado. El montaje no funcionó y no existen indicios de que un sistema real consultara el servidor. AISI consideró esas acciones no autorizadas porque utilizaron servicios fuera del rango definido.

Las evaluaciones de agentes de IA ya son superficie de ataque

Las condiciones del ensayo explican parte del comportamiento. AISI había permitido acceso abierto a internet para que los modelos descargaran herramientas y operaran como un atacante humano. También desactivó clasificadores de ciberseguridad para observar la capacidad subyacente. La configuración difiere del uso comercial ordinario y coincide con prácticas habituales en evaluaciones de frontera. El instituto admite que no revisó con suficiente rapidez un supuesto heredado de generaciones anteriores: que el beneficio de una conexión abierta compensaba el riesgo.

La detección llegó el 28 de julio, cuando la monitorización observó tráfico a través de Tor. AISI detuvo las pruebas, aisló las máquinas y contuvo la actividad aproximadamente una hora después de la alerta. El control actuó después de que el agente hubiera interactuado con GitHub y con personas externas. El instituto reconoce que carecía de supervisión en tiempo real diseñada para bloquear conductas fuera de alcance durante la ejecución.

El segundo grupo de casos añade otro tipo de fallo. OpenAI explicó que su socio Irregular pretendía ejecutar pruebas aisladas de internet, pero una configuración incorrecta permitió la conexión exterior. El nombre de una empresa ficticia coincidía con un dominio real y el modelo atacó esa web creyendo que pertenecía al escenario. Encontró una vulnerabilidad básica y utilizó credenciales del sitio. Anthropic había informado pocos días antes de tres accesos similares en evaluaciones de Irregular, tras revisar 141.006 ejecuciones. Los modelos habían recibido la indicación de que trabajaban dentro de una simulación sin internet.

La cadena muestra tres fallos de contención distintos. AISI abrió la red de forma consciente y dejó ambiguo el uso permitido de servicios externos. Irregular mantuvo conectividad por error. En Hugging Face, modelos de OpenAI explotaron una vulnerabilidad desconocida en un componente intermediario, consiguieron salida a internet y accedieron a infraestructura de producción para obtener respuestas de la prueba. La capacidad del agente cambió, mientras los controles seguían apoyándose en segmentación e instrucciones concebidas para sistemas menos persistentes.

Te puede interesar
Dario Amodei, Anthropic - Hernán Rodríguez

El riesgo empresarial se desplaza a permisos y proveedores

Para las empresas, la principal derivada aparece en la gobernanza de agentes con acceso a código, correo, navegadores, credenciales o plataformas de desarrollo. Un modelo puede mantener el objetivo asignado y, aun así, elegir una ruta que la organización no autorizó. Esa diferencia entre objetivo y método complica los controles tradicionales: una orden legítima, como resolver un problema de seguridad, puede generar acciones ilegítimas si el sistema dispone de herramientas amplias y encuentra obstáculos.

El riesgo alcanza además a la cadena de proveedores. Las pruebas involucraron laboratorios de modelos, evaluadores independientes, servicios de túnel, repositorios, infraestructura de terceros y mantenedores de proyectos abiertos. Ninguna entidad controla toda la ruta que sigue el agente. OpenAI ha anunciado una revisión de criterios para habilitar internet, reducir salvaguardas, gestionar credenciales, fijar condiciones de parada y escalar incidentes. AISI prepara controles de red más precisos, monitorización continua y verificaciones para asegurar que las tareas tengan solución dentro del perímetro autorizado.

La respuesta operativa apunta a un cambio de estándar. Las evaluaciones avanzadas tendrán que tratar a cada agente como un proceso potencialmente hostil, limitar destinos y acciones por defecto, registrar decisiones en tiempo real y separar de manera verificable los recursos ficticios de los reales. También exigirán acuerdos más claros entre desarrolladores y evaluadores externos, porque una ambigüedad sobre conectividad o alcance puede convertirse en acceso no autorizado antes de que intervenga un equipo humano.

Para consejos de administración y responsables de tecnología, el aprendizaje va más allá de los laboratorios de IA. A medida que los agentes entren en flujos corporativos, la autorización deberá aplicarse a cada herramienta y transacción, no quedar resumida en una instrucción general. El episodio británico terminó sin daños identificados, pero mostró una combinación ya disponible: persistencia, engaño, uso de identidades, interacción con personas y capacidad para aprovechar servicios públicos. La siguiente barrera empresarial dependerá menos de que el modelo interprete correctamente el límite y más de que la infraestructura le impida cruzarlo.

 

Ver Comentarios (0)

Leave a Reply

Utilizamos cookies para facilitar la relación de los visitantes con nuestro contenido y para permitir elaborar estadísticas sobre las visitantes que recibimos. No se utilizan cookies con fines publicitarios ni se almacena información de tipo personal. Puede gestionar las cookies desde aquí.   
Privacidad