Fujitsu ha anunciado el desarrollo de una tecnología de reconstrucción generativa destinada a optimizar modelos de lenguaje de gran escala (LLM). El avance, integrado en su servicio Fujitsu Kozuchi AI y aplicado al modelo Takane, se centra en reducir el consumo energético y el uso de memoria, manteniendo niveles de precisión competitivos en el sector.
Según la compañía, esta innovación permite ejecutar modelos complejos en hardware menos exigente, como una sola GPU de gama baja, frente a las cuatro de alto rendimiento que tradicionalmente requerían.
Una combinación de cuantificación y destilación especializada
El núcleo de la nueva tecnología se basa en dos procesos complementarios. Por un lado, la cuantificación, que comprime los parámetros de las conexiones neuronales del modelo, ha alcanzado una reducción del 94 % en el consumo de memoria al aplicar un algoritmo propio de cuantificación de 1 bit.
En pruebas internas, se registró una tasa de retención de precisión del 89 % frente al modelo original, con una velocidad de inferencia tres veces superior. Estos resultados contrastan con las tasas de retención inferiores al 20 % reportadas por métodos habituales como GPTQ.
Por otro lado, la destilación especializada permite generar modelos más ligeros y, al mismo tiempo, más precisos que los originales. Esta técnica combina la eliminación de información redundante con la creación de modelos candidatos que se evalúan mediante Neural Architecture Search (NAS), adaptando la arquitectura final a requisitos concretos de GPU, velocidad y exactitud. El conocimiento de Takane se transfiere después al modelo seleccionado, lo que, en algunos casos, ha mejorado el rendimiento más allá del sistema base.
Resultados en casos de uso
La aplicación práctica de esta tecnología se ha probado en dos ámbitos distintos. En tareas de gestión comercial, con datos de CRM de Fujitsu, un modelo alumno de solo 1/100 del tamaño en parámetros respecto al original alcanzó una mejora del 43 % en precisión y multiplicó por once la velocidad de inferencia, reduciendo un 70 % la memoria GPU y los costes operativos.
En reconocimiento de imágenes, los ensayos reportaron un incremento del 10 % en la detección de objetos desconocidos frente a técnicas de destilación convencionales. Fujitsu señala que, en dos años, el rendimiento en este campo se ha multiplicado por tres. Estos resultados se presentarán en la conferencia IEEE International Conference on Image Processing (ICIP 2025).
Implicaciones para la industria y despliegue en dispositivos
El desarrollo abre la posibilidad de desplegar modelos de IA generativa especializados en entornos periféricos como teléfonos inteligentes, maquinaria industrial o sistemas embebidos. Esto favorecería el procesamiento local de datos, con menores necesidades de conectividad a la nube, lo que implica respuestas en tiempo real y reducción en el consumo energético.
La compañía prevé ofrecer entornos de prueba de Takane con la cuantificación aplicada durante la segunda mitad del ejercicio fiscal 2025. Asimismo, ha comenzado a publicar modelos de Cohere Command A con pesos abiertos y cuantificados en la plataforma Hugging Face.
Perspectivas de desarrollo
Fujitsu ha anunciado planes para continuar reduciendo el tamaño de los modelos hasta una proporción de 1/1000 respecto al original sin comprometer la precisión. La estrategia apunta a generar IA generativa ubicua y de alto rendimiento que pueda integrarse en diferentes sectores, incluyendo finanzas, salud, retail y manufactura.
A medio plazo, la empresa anticipa la evolución de Takane hacia arquitecturas más avanzadas de IA agente, con mayor capacidad de interpretación del entorno y resolución autónoma de problemas complejos.
