La capacidad de generar imágenes realistas se ha convertido en uno de los frentes más delicados de la inteligencia artificial generativa. Esta semana, ese debate ha dejado de ser abstracto. Grok, el chatbot desarrollado por xAI e integrado directamente en la red social X, ha sido acusado de producir imágenes sexualizadas de personas reales, incluidas menores, a partir de simples instrucciones de usuarios. Francia ha calificado ese contenido de claramente ilegal y ha elevado el caso a la fiscalía, situándolo en el radar del marco regulatorio europeo.
El funcionamiento de Grok, accesible desde la propia plataforma mediante menciones directas, permite que el sistema responda públicamente con texto o imágenes generadas por IA. En los últimos días, usuarios aprovecharon esa integración para solicitar modificaciones de fotografías existentes, desde la sustitución de ropa por bikinis hasta escenas explícitas no consentidas. En varios casos documentados, las imágenes resultantes permanecieron visibles durante un tiempo antes de ser retiradas, lo que amplificó su difusión y el impacto sobre las personas afectadas.
El Gobierno francés afirmó que este tipo de material vulnera la legislación nacional y podría suponer una infracción del Digital Services Act (DSA), la norma comunitaria que obliga a las grandes plataformas a evaluar y mitigar riesgos sistémicos asociados a contenidos ilegales. La notificación a la fiscalía no se limita a una cuestión moral o reputacional. Abre la puerta a un análisis formal sobre si los sistemas de moderación y prevención desplegados por X son suficientes cuando la propia herramienta de la compañía es capaz de generar el material denunciado.
Desde xAI no hubo respuesta directa a las solicitudes de información, aunque la propia cuenta de Grok publicó un mensaje reconociendo “fallos en las salvaguardas” y asegurando que estaban siendo corregidos de forma urgente. El comentario coincidió con mensajes de empleados de la compañía que hablaban de reforzar los límites del sistema, sin detallar cambios concretos ni plazos.
El episodio, según han informado Bloomberg y Reuters, que recogen tanto las reacciones institucionales como testimonios de víctimas. Una de ellas, una músico residente en Brasil, explicó cómo una fotografía personal publicada en X fue utilizada por terceros para pedir a Grok que la “desvistiera” digitalmente. El resultado, imágenes casi desnudas generadas por IA, comenzó a circular sin su consentimiento. Casos similares se repitieron con mujeres anónimas, figuras públicas y, en algunos ejemplos identificados por Reuters, con menores de edad.
Aunque la empresa prohíbe expresamente la sexualización infantil y el uso de la imagen de personas reales para pornografía, Grok ha sido promocionado como un sistema más permisivo que otros modelos comerciales. El lanzamiento de un modo denominado “Spicy Mode”, que autoriza desnudos parciales y contenido sexual sugerente, marcó esa diferenciación. Sin embargo, la frontera entre lo permitido y lo ilegal se ha mostrado frágil cuando los filtros pueden ser sorteados con variaciones mínimas en las instrucciones.
El problema no es nuevo en términos técnicos. Herramientas de “nudificación” basadas en IA existen desde hace años, pero solían operar en entornos menos visibles y con mayores barreras de acceso. La integración nativa de Grok en una red social de alcance global reduce drásticamente esa fricción. Según un recuento puntual realizado por Reuters, en apenas diez minutos se registraron más de un centenar de intentos de usar el chatbot para alterar fotografías de personas reales con fines sexuales.
El impacto regulatorio tampoco se limita a Europa. La India ha exigido explicaciones formales a X sobre los controles de seguridad de Grok, mientras que en Estados Unidos el debate se cruza con leyes recientes que criminalizan la difusión no consentida de imágenes íntimas generadas artificialmente. La superposición de jurisdicciones complica la respuesta, sobre todo cuando el contenido se genera y se publica en cuestión de segundos.
Organizaciones especializadas en protección infantil llevan tiempo alertando de esta deriva. La Internet Watch Foundation ha señalado un aumento del 400 % en imágenes de abuso sexual infantil creadas con IA en la primera mitad de 2025, un dato que subraya la velocidad a la que estas tecnologías pueden escalar riesgos conocidos. Otras compañías del sector, como OpenAI o Google, han optado por políticas de prohibición estricta y por expulsar a usuarios que intentan generar este tipo de material, aunque incluso esos enfoques han sido cuestionados por fallos puntuales.
El caso de Grok introduce un matiz adicional. No se trata solo de un modelo generativo, sino de un sistema que publica directamente en una red social controlada por la misma empresa. Esa integración vertical plantea dudas sobre la separación entre herramienta, plataforma y responsabilidad editorial. También reabre el debate sobre hasta qué punto la moderación reactiva es suficiente frente a la prevención proactiva exigida por el DSA.
Más allá de las investigaciones en curso, el episodio deja preguntas abiertas para el sector tecnológico europeo. ¿Es viable lanzar modelos de imagen con capacidades avanzadas sin un test exhaustivo de abuso previsible? ¿Cómo se auditan de forma independiente los llamados “guardrails” cuando el incentivo comercial premia la rapidez y la diferenciación? Y, sobre todo, qué mecanismos reales existen para reparar el daño a las personas cuya imagen ha sido explotada por sistemas automáticos.
La respuesta regulatoria marcará un precedente. Mientras tanto, el caso Grok funciona como recordatorio incómodo de que la sofisticación técnica no siempre va acompañada de madurez institucional, y de que la gobernanza de la IA sigue siendo, en gran medida, un terreno en construcción.
