La Llama 3 de Meta fue lanzada recientemente y recibida con gran entusiasmo por parte de la comunidad de IA. Conozcamos más sobre Llama 3, lo último en avances de la IA de Meta.
Cuando hicimos una recapitulación de las innovaciones en inteligencia artificial (IA) del primer trimestre de 2024, vimos que diferentes organizaciones lanzaban LLM, o grandes modelos lingüísticos, a diestro y siniestro. Siguiendo esta tendencia, el 18 de abril de 2024, Meta lanzó Llama 3, un LLM de código abierto de última generación.
Puede que estés pensando: No es más que otro LLM. ¿Por qué está tan entusiasmada la comunidad de la IA?
Aunque puedes ajustar modelos como GPT-3 o Gemini para obtener respuestas personalizadas, no ofrecen una transparencia total en cuanto a su funcionamiento interno, como sus datos de entrenamiento, los parámetros del modelo o los algoritmos. En cambio, Llama 3 de Meta es más transparente, ya que su arquitectura y sus pesos se pueden descargar. Para la comunidad de IA, esto significa una mayor libertad para experimentar.
En este artículo, aprenderemos qué puede hacer Llama 3, cómo surgió y su impacto en el campo de la IA. ¡Manos a la obra!
Antes de sumergirnos en Llama 3, echemos un vistazo a sus versiones anteriores.
Meta lanzó Llama 1 en febrero de 2023, que venía en cuatro variantes con parámetros que oscilaban entre 7.000 y 64.000 millones. En el aprendizaje automático, los "parámetros" se refieren a los elementos del modelo que se aprenden a partir de los datos de entrenamiento. Debido a su menor número de parámetros, a Llama 1 a veces le costaba entender los matices y daba respuestas incoherentes.
Poco después de Llama 1, Meta lanzó Llama 2 en julio de 2023. Se entrenó con 2 billones de tokens. Un token representa un fragmento de texto, como una palabra o parte de una palabra, utilizado como unidad básica de datos para su procesamiento en el modelo. El modelo también incluía mejoras como una ventana de contexto duplicada de 4096 tokens para comprender pasajes más largos y más de 1 millón de anotaciones humanas para disminuir los errores. A pesar de estas mejoras, Llama 2 seguía necesitando mucha potencia de cálculo, algo que Meta pretendía solucionar con Lama 3.
Llama 3 viene con cuatro variantes que se entrenaron con la asombrosa cantidad de 15 billones de tokens. Más del 5% de esos datos de entrenamiento (unos 800 millones de tokens) representaban datos en 30 idiomas diferentes. Todas las variantes de Llama 3 pueden ejecutarse en distintos tipos de hardware de consumo y tienen una longitud de contexto de 8.000 tokens.
Las variantes del modelo vienen en dos tamaños: 8B y 70B, que indican 8.000 millones y 70.000 millones de parámetros, respectivamente. También hay dos versiones, base e instruida. "Base" se refiere a la versión estándar preentrenada. "Instruct" es una versión afinada y optimizada para aplicaciones o dominios específicos mediante entrenamiento adicional con datos relevantes.
Estas son las variantes del modelo Llama 3:
Como con cualquier otro avance de la Meta IA, se aplicaron rigurosas medidas de control de calidad para mantener la integridad de los datos y minimizar los sesgos mientras se desarrollaba Llama 3. Así pues, el producto final es un potente modelo creado de forma responsable.
La arquitectura del modelo Llama 3 destaca por su enfoque en la eficiencia y el rendimiento en las tareas de procesamiento del lenguaje natural. Construida sobre un marco basado en Transformer, hace hincapié en la eficiencia computacional, especialmente durante la generación de texto, mediante el uso de una arquitectura de sólo descodificador.
El modelo genera salidas basándose únicamente en el contexto precedente, sin un codificador que codifique las entradas, lo que lo hace mucho más rápido.
Los modelos Llama 3 incorporan un tokenizador con un vocabulario de 128.000 tokens. Un mayor vocabulario significa que los modelos pueden comprender y procesar mejor el texto. Además, los modelos utilizan ahora la atención a consultas agrupadas (GQA) para mejorar la eficacia de la inferencia. GQA es una técnica que puedes considerar como un foco que ayuda a los modelos a centrarse en las partes relevantes de los datos de entrada para generar respuestas más rápidas y precisas.
Aquí tienes más detalles interesantes sobre la arquitectura del modelo Llama 3:
Para entrenar los modelos más grandes de Llama 3, se combinaron tres tipos de paralelización: paralelización de datos, paralelización de modelos y paralelización de tuberías.
La paralelización de datos divide los datos de entrenamiento entre varias GPU, mientras que la paralelización de modelos divide la arquitectura del modelo para utilizar la potencia de cálculo de cada GPU. La paralelización de tuberías divide el proceso de entrenamiento en etapas secuenciales, optimizando el cálculo y la comunicación.
La implementación más eficiente logró una notable utilización del cálculo, superando los 400 TFLOPS por GPU cuando se entrenó en 16.000 GPUs simultáneamente. Estas ejecuciones de entrenamiento se llevaron a cabo en dos clusters personalizados de GPU , cada uno de ellos con 24.000 GPU. Esta importante infraestructura computacional proporcionó la potencia necesaria para entrenar eficazmente los modelos a gran escala de Llama 3.
Para maximizar el tiempo de actividad de GPU , se desarrolló una nueva pila de formación avanzada que automatiza la detección, gestión y mantenimiento de errores. Se mejoraron enormemente los mecanismos de fiabilidad y detección del hardware para mitigar los riesgos de corrupción silenciosa de datos. Además, se desarrollaron nuevos sistemas de almacenamiento escalables para reducir los gastos generales de checkpointing y rollback.
Estas mejoras condujeron a un tiempo de entrenamiento global de más del 95% de eficacia. Combinadas, aumentaron la eficacia del entrenamiento de Llama 3 aproximadamente tres veces en comparación con Llama 2. Esta eficacia no sólo es impresionante, sino que abre nuevas posibilidades a los métodos de entrenamiento de IA.
Como Llama 3 es de código abierto, los investigadores y estudiantes pueden estudiar su código, realizar experimentos y participar en debates sobre cuestiones éticas y sesgos. Sin embargo, Llama 3 no es sólo para el mundo académico. También está causando sensación en las aplicaciones prácticas. Se está convirtiendo en la columna vertebral de la interfaz de chat Meta AI, integrándose perfectamente en plataformas como Facebook, Instagram, WhatsApp y Messenger. Con Meta AI, los usuarios pueden entablar conversaciones en lenguaje natural, acceder a recomendaciones personalizadas, realizar tareas y conectar con otros fácilmente.
Llama 3 rinde excepcionalmente bien en varios puntos de referencia clave que evalúan la comprensión de lenguajes complejos y las capacidades de razonamiento. Éstos son algunos de los puntos de referencia que ponen a prueba diversos aspectos de las capacidades de Llama 3:
Los excelentes resultados de la Llama 3 en estas pruebas la distinguen claramente de competidoras como Google's Gemma 7B, Mistral's Mistral 7B, y Anthropic's Claude 3 Sonnet. Según las estadísticas publicadas, sobre todo en el modelo 70B, Llama 3 supera a estos modelos en todas las pruebas de referencia mencionadas.
Meta está ampliando el alcance de Llama 3 haciéndola disponible en diversas plataformas, tanto para usuarios generales como para desarrolladores. Para los usuarios cotidianos, Llama 3 está integrado en plataformas populares de Meta como WhatsApp, Instagram, Facebook y Messenger. Los usuarios pueden acceder a funciones avanzadas como la búsqueda en tiempo real y la posibilidad de generar contenido creativo directamente dentro de estas apps.
Llama 3 también se está incorporando a tecnologías vestibles como las gafas inteligentes Ray-Ban Meta y el casco de RV Meta Quest para experiencias interactivas.
Llama 3 está disponible en diversas plataformas para desarrolladores, como AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM y Snowflake. También puedes acceder a estos modelos directamente desde Meta. La amplia gama de opciones facilita a los desarrolladores la integración de estas capacidades avanzadas de modelos de IA en sus proyectos, tanto si prefieren trabajar directamente con Meta como a través de otras plataformas populares.
Los avances del aprendizaje automático siguen transformando la forma en que interactuamos con la tecnología cada día. La Llama 3 de Meta demuestra que los LLM ya no se limitan a generar texto. Los LLM están abordando problemas complejos y manejando múltiples lenguajes. En general, Llama 3 está haciendo que la IA sea más adaptable y accesible que nunca. De cara al futuro, las actualizaciones previstas para Llama 3 prometen aún más capacidades, como el manejo de múltiples modelos y la comprensión de contextos más amplios.
Echa un vistazo a nuestro repositorio de GitHub y únete a nuestra comunidad para aprender más sobre IA. Visita nuestras páginas de soluciones para ver cómo se aplica la IA en campos como la fabricación y la agricultura.
Comienza tu viaje con el futuro del aprendizaje automático
