Estás leyendo
Lanzamiento de «Fugaku-LLM», un gran modelo lingüístico entrenado en el superordenador «Fugaku»

Lanzamiento de «Fugaku-LLM», un gran modelo lingüístico entrenado en el superordenador «Fugaku»

  • Se desarrolló un gran modelo lingüístico con capacidad mejorada para el idioma japonés utilizando tecnología de supercomputación japonesa.
  • Aprendizaje paralelo distribuido maximizando el rendimiento del superordenador «Fugaku».
  • Se permite el uso comercial, lo que dará lugar a aplicaciones innovadoras de investigación y empresariales como la IA para la ciencia.
Fugaku LLM

Un equipo de investigadores de Japón ha presentado  - , un gran modelo lingüístico con capacidad mejorada para el idioma japonés, utilizando el superordenador Fugaku de .

El equipo está dirigido por el profesor Rio Yokota, del Instituto Tecnológico de Tokio, el profesor asociado Keisuke Sakaguchi, de la Universidad de Tohoku, Koichi Shirahata, de Fujitsu Limited, el jefe de equipo Mohamed Wahib, de RIKEN, el profesor asociado Koji Nishiguchi, de la Universidad de Nagoya, Shota Sasaki, de CyberAgent, Inc, y Noriyuki Kojima, de Kotoba Technologies Inc.

Para entrenar grandes modelos lingüísticos en Fugaku, los investigadores desarrollaron métodos de entrenamiento distribuido, incluida la portabilidad del marco de aprendizaje profundo Megatron-DeepSpeed a Fugaku con el fin de optimizar el rendimiento de Transformers en Fugaku. Aceleraron la biblioteca de multiplicación de matrices densas para Transformers y optimizaron el rendimiento de la comunicación para Fugaku combinando tres tipos de técnicas de paralelización y aceleraron la biblioteca de comunicación colectiva en la interconexión D de Tofu.

Fugaku-LLM tiene 13.000 millones de parámetros y es mayor que los modelos de 7.000 millones de parámetros que se han desarrollado ampliamente en Japón. Fugaku-LLM tiene capacidades japonesas mejoradas, con una puntuación media de 5,5 en el MT-Bench japonés, el rendimiento más alto entre los modelos abiertos que se entrenan utilizando datos originales producidos en Japón. En concreto, el rendimiento de referencia para tareas de humanidades y ciencias sociales alcanzó una puntuación notablemente alta de 9,18.

Fugaku-LLM se entrenó con datos japoneses propios recopilados por CyberAgent, junto con datos ingleses y de otros países. El código fuente de Fugaku-LLM está disponible en GitHub y el modelo en Hugging Face. Fugaku-LLM puede utilizarse con fines de investigación y comerciales siempre que los usuarios respeten la licencia.

En el futuro, a medida que más investigadores e ingenieros participen en la mejora de los modelos y sus aplicaciones, se mejorará la eficiencia del entrenamiento, lo que conducirá a aplicaciones empresariales y de investigación innovadoras de próxima generación, como la vinculación de la simulación científica y la IA generativa, y la simulación social de comunidades virtuales con miles de IA.

Antecedentes

En los últimos años, el desarrollo de grandes modelos lingüísticos (LLM) ha sido muy activo, especialmente en Estados Unidos. En particular, la rápida difusión de ChatGPT (6), desarrollado por , ha tenido un profundo impacto en la investigación y el desarrollo, los sistemas económicos y la seguridad nacional.

Otros países, además de Estados Unidos, también están invirtiendo enormes recursos humanos y computacionales para desarrollar LLM en sus propios países. Japón también necesita asegurarse recursos computacionales para la investigación de la IA y no quedarse atrás en esta carrera mundial. Hay grandes expectativas puestas en Fugaku, el sistema de supercomputación insignia de Japón, y es necesario mejorar el entorno computacional para el entrenamiento distribuido a gran escala en Fugaku para cumplir estas expectativas.

Por ello, el Instituto Tecnológico de Tokio, la Universidad de Tohoku, Fujitsu, RIKEN, la Universidad de Nagoya, CyberAgent y Kotoba Technologies han iniciado un proyecto conjunto de investigación sobre el desarrollo de grandes modelos lingüísticos.

Papel de cada institución/empresa

Instituto Tecnológico de Tokio

Supervisión general, paralelización y aceleración de la comunicación de grandes modelos lingüísticos (optimización del rendimiento de la comunicación combinando tres tipos de paralelización, aceleración de la comunicación colectiva en la interconexión D de Tofu).

Universidad de Tohoku

Recogida de datos de entrenamiento y selección de modelos

Fujitsu

Aceleración de la computación y la comunicación (aceleración de la comunicación colectiva en Tofu interconnect D, optimización del rendimiento de la paralelización de canalizaciones) e implementación del preentrenamiento y el ajuste fino tras el entrenamiento.

RIKEN

Paralelización distribuida y aceleración de la comunicación de modelos lingüísticos a gran escala (aceleración de la comunicación colectiva en Tofu interconnect D).

Universidad de Nagoya

Estudio sobre métodos de aplicación de Fugaku-LLM a la IA generativa 3D

CyberAgent

Suministro de datos de entrenamiento

Tecnologías Kotoba

Adaptación del marco de aprendizaje profundo a Fugaku

Resultados de la investigación

Mejora significativa del rendimiento computacional del entrenamiento de grandes modelos lingüísticos en el superordenador Fugaku.

Las GPU son el hardware más utilizado para entrenar grandes modelos lingüísticos. Sin embargo, hay una escasez mundial de GPU debido a la gran inversión de muchos países para entrenar LLM. En estas circunstancias, es importante demostrar que se pueden entrenar grandes modelos lingüísticos con Fugaku, que utiliza CPU en lugar de GPU. Las CPU utilizadas en Fugaku son CPU japonesas fabricadas por Fujitsu, y desempeñan un papel importante en términos de revitalización de la tecnología japonesa de semiconductores.

Al extraer todo el potencial de Fugaku, este estudio logró aumentar la velocidad de cálculo de la multiplicación de matrices en un factor de 6, y la velocidad de comunicación en un factor de 3. Para maximizar el rendimiento del entrenamiento distribuido en Fugaku, el marco de aprendizaje profundo Megatron-DeepSpeed se portó a Fugaku, y la biblioteca de multiplicación de matrices densas se aceleró para Transformer.

Te puede interesar
Microsoft Build 2024

Para la aceleración de la comunicación, los investigadores optimizaron el rendimiento de la comunicación para Fugaku mediante la combinación de tres tipos de técnicas de paralelización y aceleraron la comunicación colectiva en la interconexión D de Tofu. El conocimiento adquirido a partir de estos esfuerzos se puede utilizar en el diseño de la infraestructura informática de próxima generación después de Fugaku y mejorará en gran medida la ventaja futura de Japón en el campo de la IA.

Un gran modelo lingüístico fácil de usar, abierto y seguro con 13.000 millones de parámetros

En 2023, las empresas japonesas han desarrollado muchos modelos lingüísticos de gran tamaño, pero la mayoría de ellos tienen menos de 7.000 millones de parámetros. Dado que el rendimiento de los modelos lingüísticos a gran escala suele mejorar a medida que aumenta el número de parámetros, es probable que el modelo de 13.000 millones de parámetros desarrollado por el equipo de investigación sea más potente que otros modelos japoneses.

Aunque fuera de Japón se han desarrollado modelos de mayor tamaño, los grandes modelos lingüísticos también requieren grandes recursos computacionales, lo que dificulta el uso de modelos con demasiados parámetros. Fugaku-LLM es a la vez de alto rendimiento y equilibrado.

Además, la mayoría de los modelos desarrollados por empresas japonesas emplean el aprendizaje continuo, en el que los modelos abiertos desarrollados fuera de Japón se entrenan continuamente con datos japoneses. En cambio, Fugaku-LLM se entrena desde cero utilizando los propios datos del equipo, por lo que se puede entender todo el proceso de aprendizaje, lo que es superior en términos de transparencia y seguridad.

Fugaku-LLM se entrenó con 380.000 millones de tokens utilizando 13.824 nodos de Fugaku, y alrededor del 60% de los datos de entrenamiento eran japoneses, combinados con inglés, matemáticas y código. En comparación con los modelos que se entrenan continuamente en japonés, Fugaku-LLM aprendió gran parte de su información en japonés. Fugaku-LLM es el mejor modelo entre los modelos abiertos producidos en Japón y entrenados con datos originales.

En concreto, se confirmó que el modelo muestra una alta puntuación de referencia de 9,18 en las tareas de humanidades y ciencias sociales. Se espera que el modelo sea capaz de realizar diálogos naturales basados en el keigo (habla honorífica) y otras características de la lengua japonesa.

Desarrollo futuro

Los resultados de esta investigación se están haciendo públicos a través de GitHub y Hugging Face para que otros investigadores e ingenieros puedan utilizarlos para seguir desarrollando grandes modelos lingüísticos. Fugaku-LLM puede utilizarse con fines comerciales y de investigación siempre que los usuarios respeten la licencia. Fugaku-LLM también se ofrecerá a los usuarios a través del Fujitsu Research Portal a partir del 10 de mayo de 2024.

En el futuro, a medida que más investigadores e ingenieros participen en la mejora de los modelos y sus aplicaciones, se mejorará la eficacia de la formación, lo que dará lugar a aplicaciones empresariales y de investigación innovadoras de nueva generación, como la vinculación de la simulación científica y la IA generativa, y la simulación social de comunidades virtuales con miles de IA.

Utilizamos cookies para facilitar la relación de los visitantes con nuestro contenido y para permitir elaborar estadísticas sobre las visitantes que recibimos. No se utilizan cookies con fines publicitarios ni se almacena información de tipo personal. Puede gestionar las cookies desde aquí.   
Privacidad