Meta ha presentado Meta Llama 3 , la más reciente generación de su modelo de lenguaje grande en código abierto. El modelo pronto estará accesible a través de plataformas como AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM, y Snowflake, y contará con soporte de hardware de AMD, AWS, Dell, Intel, NVIDIA y Qualcomm.
Meta se ha comprometido a un desarrollo responsable de Llama 3 y proporcionará diversos recursos para promover un uso igualmente responsable entre otros usuarios. Esto incluye nuevas herramientas de seguridad como Llama Guard 2, Code Shield y CyberSec Eval 2. En los próximos meses, se esperan introducir nuevas características como ventanas contextuales más extensas, tamaños de modelo adicionales y un rendimiento mejorado, además de la publicación de un documento de investigación sobre Llama 3.
La compañía también ha revelado los dos primeros modelos de esta nueva generación de Llama, disponibles para uso general. Esta versión presenta modelos de lenguaje preentrenados y afinados a instrucciones con parámetros de 8B y 70B, aptos para una amplia variedad de aplicaciones.
Estos modelos exhiben un rendimiento de vanguardia en diversos benchmarks del sector y ofrecen nuevas funcionalidades, como mejoras en el razonamiento. Meta sostiene que estos son los mejores modelos de su clase disponibles en código abierto y busca fomentar la innovación en IA a través de la comunidad, abarcando desde aplicaciones hasta herramientas para desarrolladores, evaluaciones, optimizaciones de inferencia y mucho más.
Con Llama 3, Meta busca construir los mejores modelos abiertos que compitan con los mejores modelos propietarios actuales. La empresa está tomando en cuenta los comentarios de los desarrolladores para aumentar la utilidad general de Llama 3, manteniendo un papel de liderazgo en el uso y despliegue responsables de los modelos de lenguaje de gran tamaño. Meta adopta la filosofía de código abierto de publicar rápido y con frecuencia para que la comunidad pueda acceder a estos modelos mientras aún están en desarrollo.
Los nuevos modelos Llama 3 de 8B y 70B parámetros representan un significativo avance respecto a Llama 2 y establecen un nuevo estándar para los modelos de lenguaje a esa escala. Gracias a las mejoras en el preentrenamiento y el ajuste fino, estos modelos son actualmente superiores, con optimizaciones en sus procedimientos de ajuste fino que han reducido las tasas de falsos rechazos, mejorado la alineación y aumentado la diversidad en las respuestas de los modelos. También se han observado grandes mejoras en capacidades como el razonamiento, la generación de código y el seguimiento de instrucciones.
En su desarrollo, Meta se ha centrado en el rendimiento del modelo en benchmarks estándar y también ha optimizado el rendimiento para escenarios del mundo real. Para ello, han desarrollado un nuevo conjunto de evaluación humana de alta calidad que cubre 12 casos de uso clave. Esto ayuda a evitar el sobreajuste accidental de los modelos en este conjunto de evaluación.
Los modelos Llama 3 están diseñados para facilitar la personalización y soportar casos de uso relevantes, promoviendo la adopción de mejores prácticas y la mejora del ecosistema abierto. Meta también ha actualizado su Guía de Uso Responsable, que proporciona una guía completa para el desarrollo responsable con modelos de lenguaje de gran tamaño.
Próximamente, Llama 3 estará disponible en las principales plataformas de nube, alojamiento y hardware, con la intención de Meta de seguir liderando en la innovación y el despliegue responsables de tecnologías de inteligencia artificial.
