Conoscere il lama di Meta 3

Quando abbiamo raccolto le innovazioni nel campo dell'intelligenza artificiale (AI) del primo trimestre del 2024, abbiamo visto che gli LLM, o modelli linguistici di grandi dimensioni, sono stati rilasciati a destra e a manca da diverse organizzazioni. Seguendo questa tendenza, il 18 aprile 2024 Meta ha rilasciato Llama 3, un LLM open-source di ultima generazione. 

Potresti pensare: È solo un altro LLM. Perché la comunità dell'intelligenza artificiale ne è così entusiasta?

Sebbene sia possibile mettere a punto modelli come GPT-3 o Gemini per ottenere risposte personalizzate, questi modelli non offrono una trasparenza totale sul loro funzionamento interno, come i dati di allenamento, i parametri del modello o gli algoritmi. Al contrario, Llama 3 di Meta è più trasparente: la sua architettura e i suoi pesi sono disponibili per il download. Per la comunità dell'intelligenza artificiale, questo significa maggiore libertà di sperimentazione.

In questo articolo scopriremo cosa può fare Llama 3, come è nato e il suo impatto sul campo dell'intelligenza artificiale. Andiamo subito al sodo!

L'evoluzione dei modelli di lama di Meta

Prima di immergerci in Llama 3, diamo un'occhiata alle sue versioni precedenti.

Meta ha lanciato Llama 1 nel febbraio 2023, disponibile in quattro varianti con parametri che vanno da 7 miliardi a 64 miliardi. Nell'apprendimento automatico, i "parametri" si riferiscono agli elementi del modello che vengono appresi dai dati di formazione. A causa del numero ridotto di parametri, Llama 1 a volte faticava a comprendere le sfumature e forniva risposte incoerenti.

Poco dopo Llama 1, Meta ha lanciato Llama 2 nel luglio 2023. Il modello è stato addestrato su 2.000 miliardi di token. Un token rappresenta un pezzo di testo, come una parola o una parte di essa, utilizzato come unità di base dei dati da elaborare nel modello. Il modello presenta anche miglioramenti come una finestra di contesto raddoppiata di 4096 token per comprendere i passaggi più lunghi e oltre 1 milione di annotazioni umane per ridurre gli errori. Nonostante questi miglioramenti, Llama 2 richiedeva ancora molta potenza di calcolo, cosa che Meta intendeva risolvere con Lama 3.

Ti presentiamo Meta's Llama 3

Llama 3 è dotato di quattro varianti che sono state addestrate con ben 15 trilioni di token. Oltre il 5% dei dati di addestramento (circa 800 milioni di token) rappresentava dati in 30 lingue diverse. Tutte le varianti di Llama 3 possono essere eseguite su vari tipi di hardware consumer e hanno una lunghezza del contesto di 8k token. 

Le varianti del modello sono disponibili in due dimensioni: 8B e 70B, che indicano rispettivamente 8 miliardi e 70 miliardi di parametri. Esistono anche due versioni, base e instruct. "Base" si riferisce alla versione standard pre-addestrata. "Instruct" è una versione ottimizzata per applicazioni o domini specifici grazie a un addestramento supplementare su dati rilevanti.

Queste sono le varianti del modello Llama 3:

• Meta-Llama-3-8b: Il modello base 8B offre le capacità fondamentali dell'intelligenza artificiale ed è ideale per attività generali come lo sviluppo di chatbot per il servizio clienti.
• Meta-Llama-3-8b-instruct: Una versione del modello 8B ottimizzata per compiti specifici. Ad esempio, può essere utilizzato per creare strumenti educativi che spiegano argomenti complessi.
• Meta-Llama-3-70b: il modello base 70B è progettato per applicazioni AI ad alte prestazioni. Questo modello è adatto ad applicazioni come l'elaborazione di un'ampia letteratura biomedica per la scoperta di farmaci.
• Meta-Llama-3-70b-instruct: Questa versione è stata perfezionata rispetto al modello 70B per applicazioni molto precise, come l'analisi di documenti legali o medici, in cui l'accuratezza è fondamentale.

Architettura del modello Llama 3 di Meta

Come per ogni altro progresso di Meta AI, durante lo sviluppo di Llama 3 sono state adottate rigorose misure di controllo della qualità per mantenere l'integrità dei dati e ridurre al minimo le distorsioni. Il prodotto finale è quindi un modello potente creato in modo responsabile. 

L'architettura del modello Llama 3 si distingue per la sua attenzione all'efficienza e alle prestazioni nelle attività di elaborazione del linguaggio naturale. Costruita su un framework basato su Transformer, enfatizza l'efficienza computazionale, soprattutto durante la generazione del testo, utilizzando un'architettura di soli decodificatori. 

Il modello genera le uscite basandosi esclusivamente sul contesto precedente, senza bisogno di un codificatore per codificare gli ingressi, il che lo rende molto più veloce.

I modelli Llama 3 dispongono di un tokenizer con un vocabolario di 128K tokens. Un vocabolario più ampio significa che i modelli possono comprendere ed elaborare meglio il testo. Inoltre, i modelli ora utilizzano l'attenzione alle query raggruppate (GQA) per migliorare l'efficienza dell'inferenza. La GQA è una tecnica che si può considerare come un riflettore che aiuta i modelli a concentrarsi sulle parti rilevanti dei dati in ingresso per generare risposte più rapide e precise.

Ecco altri dettagli interessanti sull'architettura del modello Llama 3:

• Elaborazione dei documenti consapevole dei confini: Llama 3 mantiene la chiarezza attraverso i confini dei documenti, il che è fondamentale per attività come la sintesi.
• Migliore comprensione del codice: I dati di addestramento di Llama 3 includono un numero quattro volte superiore di esempi di codice, migliorando le sue capacità di codifica.
• Robusto controllo di qualità: Misure rigorose, tra cui filtri euristici e rimozione di NSFW, garantiscono l'integrità dei dati e riducono al minimo i pregiudizi.

Llama 3 sta trasformando il nostro approccio all'addestramento dei modelli

Per addestrare i modelli Llama 3 più grandi, sono stati combinati tre tipi di parallelizzazione: parallelizzazione dei dati, parallelizzazione del modello e parallelizzazione della pipeline. 

La parallelizzazione dei dati divide i dati di addestramento su più GPU, mentre la parallelizzazione del modello suddivide l'architettura del modello per utilizzare la potenza di calcolo di ciascuna GPU. La parallelizzazione della pipeline divide il processo di addestramento in fasi sequenziali, ottimizzando il calcolo e la comunicazione.

L'implementazione più efficiente ha raggiunto un notevole utilizzo del calcolo, superando i 400 TFLOPS per GPU quando l'addestramento è stato eseguito su 16.000 GPU in contemporanea. Questi addestramenti sono stati eseguiti su due cluster GPU costruiti su misura, ognuno dei quali comprendeva 24.000 GPU. Questa notevole infrastruttura di calcolo ha fornito la potenza necessaria per addestrare in modo efficiente i modelli Llama 3 su larga scala.

Per massimizzare il tempo di attività di GPU , è stato sviluppato un nuovo stack di formazione avanzato che automatizza il rilevamento, la gestione e la manutenzione degli errori. L'affidabilità dell'hardware e i meccanismi di rilevamento sono stati notevolmente migliorati per mitigare i rischi di corruzione silenziosa dei dati. Inoltre, sono stati sviluppati nuovi sistemi di archiviazione scalabili per ridurre i costi di checkpoint e rollback. 

Questi miglioramenti hanno portato a un tempo di addestramento complessivo superiore al 95% di efficacia. Insieme, hanno incrementato l'efficienza dell'addestramento di Llama 3 di circa tre volte rispetto a Llama 2. Questa efficienza non è solo impressionante: sta aprendo nuove possibilità per i metodi di addestramento dell'intelligenza artificiale. 

Aprire le porte con Llama 3

Poiché Llama 3 è open-source, i ricercatori e gli studenti possono studiarne il codice, condurre esperimenti e partecipare a discussioni su questioni etiche e pregiudizi. Tuttavia, Llama 3 non è solo per il pubblico accademico. Sta facendo faville anche nelle applicazioni pratiche. Sta diventando la spina dorsale dell'interfaccia di chat Meta AI, integrandosi perfettamente in piattaforme come Facebook, Instagram, WhatsApp e Messenger. Con Meta AI, gli utenti possono intraprendere conversazioni in linguaggio naturale, accedere a raccomandazioni personalizzate, svolgere attività e connettersi facilmente con gli altri.

Confronto tra Llama 3 e altri LLM

Llama 3 ha ottenuto risultati eccezionali in diversi benchmark chiave che valutano la comprensione di linguaggi complessi e le capacità di ragionamento. Ecco alcuni dei benchmark che mettono alla prova vari aspetti delle capacità di Llama 3:

• Massive Multitask Language Understanding (MMLU) - Misura la sua conoscenza in vari domini. 
• General Purpose Question Answering (GPQA) - Valuta la capacità del modello di generare risposte coerenti e corrette a un'ampia gamma di domande di conoscenza generale.
• HumanEval - Si concentra sui compiti di codifica e di risoluzione dei problemi, testando la capacità del modello di generare codice di programmazione funzionale e di risolvere sfide algoritmiche.

I risultati eccezionali di Llama 3 in questi test lo distinguono chiaramente da concorrenti come Google, Gemma 7B, Mistral 7B e Anthropic, Claude 3 Sonnet. Secondo le statistiche pubblicate, in particolare il modello 70B, Llama 3 supera questi modelli in tutti i benchmark citati.

Meta Llama 3 sta per essere reso ampiamente accessibile

Meta sta ampliando la portata di Llama 3 rendendolo disponibile su diverse piattaforme sia per gli utenti comuni che per gli sviluppatori. Per gli utenti comuni, Llama 3 è integrato nelle piattaforme popolari di Meta come WhatsApp, Instagram, Facebook e Messenger. Gli utenti possono accedere a funzioni avanzate come la ricerca in tempo reale e la possibilità di generare contenuti creativi direttamente all'interno di queste applicazioni. 

Llama 3 viene anche incorporato in tecnologie indossabili come gli occhiali intelligenti Ray-Ban Meta e le cuffie Meta Quest VR per esperienze interattive.

Llama 3 è disponibile su diverse piattaforme per gli sviluppatori, tra cui AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM e Snowflake. Puoi anche accedere a questi modelli direttamente da Meta. L'ampia gamma di opzioni consente agli sviluppatori di integrare facilmente queste funzionalità avanzate dei modelli di intelligenza artificiale nei loro progetti, sia che preferiscano lavorare direttamente con Meta che attraverso altre piattaforme popolari.

Il risultato

I progressi dell'apprendimento automatico continuano a trasformare il modo in cui interagiamo con la tecnologia ogni giorno. Llama 3 di Meta dimostra che gli LLM non si limitano più a generare testo. Le LLM affrontano problemi complessi e gestiscono più lingue. Nel complesso, Llama 3 sta rendendo l'intelligenza artificiale più adattabile e accessibile che mai. In prospettiva, gli aggiornamenti previsti per Llama 3 promettono ancora più capacità, come la gestione di più modelli e la comprensione di contesti più ampi. 

Dai un'occhiata al nostro repository GitHub e unisciti alla nostra comunità per saperne di più sull'IA. Visita le nostre pagine dedicate alle soluzioni per vedere come l'IA viene applicata in campi come la produzione e l'agricoltura.