Llama 3 di Meta è stato recentemente rilasciato ed è stato accolto con grande entusiasmo dalla comunità dell'intelligenza artificiale. Scopriamo di più su Llama 3, l'ultima novità di Meta AI.
Quando abbiamo raccolto le innovazioni nel campo dell'intelligenza artificiale (AI) del primo trimestre del 2024, abbiamo visto che gli LLM, o modelli linguistici di grandi dimensioni, sono stati rilasciati a destra e a manca da diverse organizzazioni. Seguendo questa tendenza, il 18 aprile 2024 Meta ha rilasciato Llama 3, un LLM open-source di ultima generazione.
Potresti pensare: È solo un altro LLM. Perché la comunità dell'intelligenza artificiale ne è così entusiasta?
Sebbene sia possibile mettere a punto modelli come GPT-3 o Gemini per ottenere risposte personalizzate, questi modelli non offrono una trasparenza totale sul loro funzionamento interno, come i dati di allenamento, i parametri del modello o gli algoritmi. Al contrario, Llama 3 di Meta è più trasparente: la sua architettura e i suoi pesi sono disponibili per il download. Per la comunità dell'intelligenza artificiale, questo significa maggiore libertà di sperimentazione.
In questo articolo scopriremo cosa può fare Llama 3, come è nato e il suo impatto sul campo dell'intelligenza artificiale. Andiamo subito al sodo!
Prima di immergerci in Llama 3, diamo un'occhiata alle sue versioni precedenti.
Meta ha lanciato Llama 1 nel febbraio 2023, disponibile in quattro varianti con parametri che vanno da 7 miliardi a 64 miliardi. Nell'apprendimento automatico, i "parametri" si riferiscono agli elementi del modello che vengono appresi dai dati di formazione. A causa del numero ridotto di parametri, Llama 1 a volte faticava a comprendere le sfumature e forniva risposte incoerenti.
Poco dopo Llama 1, Meta ha lanciato Llama 2 nel luglio 2023. Il modello è stato addestrato su 2.000 miliardi di token. Un token rappresenta un pezzo di testo, come una parola o una parte di essa, utilizzato come unità di base dei dati da elaborare nel modello. Il modello presenta anche miglioramenti come una finestra di contesto raddoppiata di 4096 token per comprendere i passaggi più lunghi e oltre 1 milione di annotazioni umane per ridurre gli errori. Nonostante questi miglioramenti, Llama 2 richiedeva ancora molta potenza di calcolo, cosa che Meta intendeva risolvere con Lama 3.
Llama 3 è dotato di quattro varianti che sono state addestrate con ben 15 trilioni di token. Oltre il 5% dei dati di addestramento (circa 800 milioni di token) rappresentava dati in 30 lingue diverse. Tutte le varianti di Llama 3 possono essere eseguite su vari tipi di hardware consumer e hanno una lunghezza del contesto di 8k token.
Le varianti del modello sono disponibili in due dimensioni: 8B e 70B, che indicano rispettivamente 8 miliardi e 70 miliardi di parametri. Esistono anche due versioni, base e instruct. "Base" si riferisce alla versione standard pre-addestrata. "Instruct" è una versione ottimizzata per applicazioni o domini specifici grazie a un addestramento supplementare su dati rilevanti.
Queste sono le varianti del modello Llama 3:
Come per ogni altro progresso di Meta AI, durante lo sviluppo di Llama 3 sono state adottate rigorose misure di controllo della qualità per mantenere l'integrità dei dati e ridurre al minimo le distorsioni. Il prodotto finale è quindi un modello potente creato in modo responsabile.
L'architettura del modello Llama 3 si distingue per la sua attenzione all'efficienza e alle prestazioni nelle attività di elaborazione del linguaggio naturale. Costruita su un framework basato su Transformer, enfatizza l'efficienza computazionale, soprattutto durante la generazione del testo, utilizzando un'architettura di soli decodificatori.
Il modello genera le uscite basandosi esclusivamente sul contesto precedente, senza bisogno di un codificatore per codificare gli ingressi, il che lo rende molto più veloce.
I modelli Llama 3 dispongono di un tokenizer con un vocabolario di 128K tokens. Un vocabolario più ampio significa che i modelli possono comprendere ed elaborare meglio il testo. Inoltre, i modelli ora utilizzano l'attenzione alle query raggruppate (GQA) per migliorare l'efficienza dell'inferenza. La GQA è una tecnica che si può considerare come un riflettore che aiuta i modelli a concentrarsi sulle parti rilevanti dei dati in ingresso per generare risposte più rapide e precise.
Ecco altri dettagli interessanti sull'architettura del modello Llama 3:
Per addestrare i modelli Llama 3 più grandi, sono stati combinati tre tipi di parallelizzazione: parallelizzazione dei dati, parallelizzazione del modello e parallelizzazione della pipeline.
La parallelizzazione dei dati divide i dati di addestramento su più GPU, mentre la parallelizzazione del modello suddivide l'architettura del modello per utilizzare la potenza di calcolo di ciascuna GPU. La parallelizzazione della pipeline divide il processo di addestramento in fasi sequenziali, ottimizzando il calcolo e la comunicazione.
L'implementazione più efficiente ha raggiunto un notevole utilizzo del calcolo, superando i 400 TFLOPS per GPU quando l'addestramento è stato eseguito su 16.000 GPU in contemporanea. Questi addestramenti sono stati eseguiti su due cluster GPU costruiti su misura, ognuno dei quali comprendeva 24.000 GPU. Questa notevole infrastruttura di calcolo ha fornito la potenza necessaria per addestrare in modo efficiente i modelli Llama 3 su larga scala.
Per massimizzare il tempo di attività di GPU , è stato sviluppato un nuovo stack di formazione avanzato che automatizza il rilevamento, la gestione e la manutenzione degli errori. L'affidabilità dell'hardware e i meccanismi di rilevamento sono stati notevolmente migliorati per mitigare i rischi di corruzione silenziosa dei dati. Inoltre, sono stati sviluppati nuovi sistemi di archiviazione scalabili per ridurre i costi di checkpoint e rollback.
Questi miglioramenti hanno portato a un tempo di addestramento complessivo superiore al 95% di efficacia. Insieme, hanno incrementato l'efficienza dell'addestramento di Llama 3 di circa tre volte rispetto a Llama 2. Questa efficienza non è solo impressionante: sta aprendo nuove possibilità per i metodi di addestramento dell'intelligenza artificiale.
Poiché Llama 3 è open-source, i ricercatori e gli studenti possono studiarne il codice, condurre esperimenti e partecipare a discussioni su questioni etiche e pregiudizi. Tuttavia, Llama 3 non è solo per il pubblico accademico. Sta facendo faville anche nelle applicazioni pratiche. Sta diventando la spina dorsale dell'interfaccia di chat Meta AI, integrandosi perfettamente in piattaforme come Facebook, Instagram, WhatsApp e Messenger. Con Meta AI, gli utenti possono intraprendere conversazioni in linguaggio naturale, accedere a raccomandazioni personalizzate, svolgere attività e connettersi facilmente con gli altri.
Llama 3 ha ottenuto risultati eccezionali in diversi benchmark chiave che valutano la comprensione di linguaggi complessi e le capacità di ragionamento. Ecco alcuni dei benchmark che mettono alla prova vari aspetti delle capacità di Llama 3:
I risultati eccezionali di Llama 3 in questi test lo distinguono chiaramente da concorrenti come Google, Gemma 7B, Mistral 7B e Anthropic, Claude 3 Sonnet. Secondo le statistiche pubblicate, in particolare il modello 70B, Llama 3 supera questi modelli in tutti i benchmark citati.
Meta sta ampliando la portata di Llama 3 rendendolo disponibile su diverse piattaforme sia per gli utenti comuni che per gli sviluppatori. Per gli utenti comuni, Llama 3 è integrato nelle piattaforme popolari di Meta come WhatsApp, Instagram, Facebook e Messenger. Gli utenti possono accedere a funzioni avanzate come la ricerca in tempo reale e la possibilità di generare contenuti creativi direttamente all'interno di queste applicazioni.
Llama 3 viene anche incorporato in tecnologie indossabili come gli occhiali intelligenti Ray-Ban Meta e le cuffie Meta Quest VR per esperienze interattive.
Llama 3 è disponibile su diverse piattaforme per gli sviluppatori, tra cui AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM e Snowflake. Puoi anche accedere a questi modelli direttamente da Meta. L'ampia gamma di opzioni consente agli sviluppatori di integrare facilmente queste funzionalità avanzate dei modelli di intelligenza artificiale nei loro progetti, sia che preferiscano lavorare direttamente con Meta che attraverso altre piattaforme popolari.
I progressi dell'apprendimento automatico continuano a trasformare il modo in cui interagiamo con la tecnologia ogni giorno. Llama 3 di Meta dimostra che gli LLM non si limitano più a generare testo. Le LLM affrontano problemi complessi e gestiscono più lingue. Nel complesso, Llama 3 sta rendendo l'intelligenza artificiale più adattabile e accessibile che mai. In prospettiva, gli aggiornamenti previsti per Llama 3 promettono ancora più capacità, come la gestione di più modelli e la comprensione di contesti più ampi.
Dai un'occhiata al nostro repository GitHub e unisciti alla nostra comunità per saperne di più sull'IA. Visita le nostre pagine dedicate alle soluzioni per vedere come l'IA viene applicata in campi come la produzione e l'agricoltura.
Inizia il tuo viaggio nel futuro dell'apprendimento automatico
