Metas Llama 3 kennenlernen

Als wir die Innovationen im Bereich der künstlichen Intelligenz (KI) im ersten Quartal 2024 zusammenstellten, sahen wir, dass LLMs, also große Sprachmodelle, von verschiedenen Organisationen veröffentlicht wurden. Um diesen Trend fortzusetzen, veröffentlichte Meta am 18. April 2024 Llama 3, ein modernes Open-Source-LLM der nächsten Generation. 

Du denkst jetzt vielleicht: Das ist doch nur ein weiterer LLM. Warum ist die KI-Gemeinde so begeistert davon?

Du kannst zwar Modelle wie GPT-3 oder Gemini für individuelle Antworten anpassen, aber sie bieten keine vollständige Transparenz über ihre interne Arbeitsweise, z. B. ihre Trainingsdaten, Modellparameter oder Algorithmen. Im Gegensatz dazu ist Meta's Llama 3 transparenter, da seine Architektur und seine Gewichte zum Download zur Verfügung stehen. Für die KI-Gemeinschaft bedeutet das mehr Freiheit zum Experimentieren.

In diesem Artikel erfährst du, was Llama 3 kann, wie es entstanden ist und welchen Einfluss es auf die KI-Branche hat. Lass uns gleich loslegen!

Die Entwicklung von Metas Lama-Modellen

Bevor wir uns mit Llama 3 beschäftigen, werfen wir einen Blick zurück auf die früheren Versionen.

Meta brachte Llama 1 im Februar 2023 auf den Markt, das es in vier Varianten mit Parametern zwischen 7 Milliarden und 64 Milliarden gab. Beim maschinellen Lernen beziehen sich die "Parameter" auf die Elemente des Modells, die aus den Trainingsdaten gelernt werden. Aufgrund der geringeren Anzahl von Parametern hatte Llama 1 manchmal Probleme mit einem differenzierten Verständnis und gab uneinheitliche Antworten.

Kurz nach Llama 1 startete Meta im Juli 2023 Llama 2. Es wurde auf 2 Billionen Token trainiert. Ein Token steht für ein Textstück, z. B. ein Wort oder einen Teil eines Wortes, das als grundlegende Dateneinheit für die Verarbeitung im Modell verwendet wird. Das Modell enthält außerdem Verbesserungen wie ein verdoppeltes Kontextfenster von 4096 Token, um längere Passagen zu verstehen, und über 1 Million menschliche Anmerkungen, um Fehler zu verringern. Trotz dieser Verbesserungen benötigte Llama 2 immer noch eine Menge Rechenleistung, was Meta mit Lama 3 beheben wollte.

Meta's Llama 3 stellt sich vor

Llama 3 wird mit vier Varianten geliefert, die anhand von 15 Billionen Token trainiert wurden. Über 5 % dieser Trainingsdaten (etwa 800 Millionen Token) repräsentieren Daten in 30 verschiedenen Sprachen. Alle Llama 3-Varianten können auf verschiedenen Arten von Consumer-Hardware ausgeführt werden und haben eine Kontextlänge von 8k Token. 

Die Modellvarianten gibt es in zwei Größen: 8B und 70B, was für 8 Milliarden bzw. 70 Milliarden Parameter steht. Es gibt auch zwei Versionen, Base und Instruct. "Base" ist die Standardversion, die bereits trainiert wurde. "Instruct" ist eine fein abgestimmte Version, die durch zusätzliches Training mit relevanten Daten für bestimmte Anwendungen oder Bereiche optimiert wurde.

Dies sind die Llama 3 Modellvarianten:

• Meta-Llama-3-8b: Das Basismodell 8B bietet grundlegende KI-Funktionen und ist ideal für allgemeine Aufgaben wie die Entwicklung von Chatbots für den Kundenservice.
• Meta-Llama-3-8b-instruct: Eine auf Instruct abgestimmte Version des 8B-Modells, die für bestimmte Aufgaben optimiert ist. Es kann zum Beispiel verwendet werden, um Lehrmittel zu erstellen, die komplexe Themen erklären.
• Meta-Llama-3-70b: Das Basismodell 70B ist für leistungsstarke KI-Anwendungen konzipiert. Dieses Modell eignet sich gut für Anwendungen wie die Verarbeitung umfangreicher biomedizinischer Literatur für die Arzneimittelforschung.
• Meta-Llama-3-70b-instruct: Diese Version ist eine Feinabstimmung des 70B-Modells für hochpräzise Anwendungen, wie z.B. die Analyse juristischer oder medizinischer Dokumente, bei denen es auf Genauigkeit ankommt.

Meta's Llama 3 Modell Architektur

Wie bei allen anderen Meta-KI-Fortschritten wurden auch bei der Entwicklung von Llama 3 strenge Qualitätskontrollen durchgeführt, um die Datenintegrität zu wahren und Verzerrungen zu minimieren. Das Endprodukt ist also ein leistungsstarkes Modell, das verantwortungsvoll erstellt wurde. 

Die Modellarchitektur von Llama 3 zeichnet sich durch ihren Fokus auf Effizienz und Leistung bei der Verarbeitung natürlicher Sprache aus. Sie basiert auf einem Transformer-basierten Framework und legt den Schwerpunkt auf die Effizienz der Berechnungen, insbesondere bei der Texterstellung, indem sie eine reine Decoder-Architektur verwendet. 

Das Modell generiert Ausgaben allein auf der Grundlage des vorangegangenen Kontexts, ohne dass ein Encoder die Eingaben kodieren muss, was es viel schneller macht.

Die Llama 3 Modelle verfügen über einen Tokenizer mit einem Vokabular von 128K Token. Ein größeres Vokabular bedeutet, dass die Modelle Text besser verstehen und verarbeiten können. Außerdem verwenden die Modelle jetzt die Grouped Query Attention (GQA), um die Inferenz-Effizienz zu verbessern. GQA ist eine Technik, die man sich wie ein Spotlight vorstellen kann, das den Modellen hilft, sich auf relevante Teile der Eingabedaten zu konzentrieren, um schnellere und genauere Antworten zu geben.

Hier sind ein paar weitere interessante Details über die Modellarchitektur von Llama 3:

• Grenzsichere Dokumentenverarbeitung: Llama 3 behält die Klarheit über die Grenzen von Dokumenten hinweg bei, was für Aufgaben wie die Zusammenfassung wichtig ist.
• Besseres Code-Verständnis: Die Trainingsdaten von Llama 3 enthalten viermal mehr Code-Beispiele, was seine Codierfähigkeiten verbessert.
• Robuste Qualitätskontrolle: Strenge Maßnahmen, einschließlich heuristischer Filter und NSFW-Entfernung, gewährleisten die Datenintegrität und minimieren Verzerrungen.

Llama 3 verändert unsere Herangehensweise an die Modellausbildung

Um die größten Llama 3-Modelle zu trainieren, wurden drei Arten der Parallelisierung kombiniert: Datenparallelisierung, Modellparallelisierung und Pipelineparallelisierung. 

Bei der Datenparallelisierung werden die Trainingsdaten auf mehrere GPUs verteilt, während bei der Modellparallelisierung die Modellarchitektur aufgeteilt wird, um die Rechenleistung der einzelnen GPU zu nutzen. Die Pipeline-Parallelisierung unterteilt den Trainingsprozess in aufeinanderfolgende Phasen und optimiert so die Berechnung und Kommunikation.

Die effizienteste Implementierung erreichte eine bemerkenswerte Rechennutzung von über 400 TFLOPS pro GPU , wenn sie auf 16.000 GPUs gleichzeitig trainiert wurde. Diese Trainingsläufe wurden auf zwei speziell angefertigten GPU Clustern durchgeführt, die jeweils 24.000 GPUs umfassten. Diese umfangreiche Recheninfrastruktur bot die nötige Leistung, um die großen Llama-3-Modelle effizient zu trainieren.

Um die Betriebszeit von GPU zu maximieren, wurde ein fortschrittlicher neuer Trainingsstack entwickelt, der die Fehlererkennung, -behandlung und -wartung automatisiert. Die Zuverlässigkeit der Hardware und die Erkennungsmechanismen wurden erheblich verbessert, um das Risiko einer stillen Datenkorruption zu verringern. Außerdem wurden neue skalierbare Speichersysteme entwickelt, um den Aufwand für Checkpointing und Rollback zu reduzieren. 

Diese Verbesserungen führten zu einer Gesamttrainingszeit von mehr als 95% Effektivität. Zusammengenommen steigerten sie die Effizienz des Llama 3-Trainings im Vergleich zu Llama 2 um das Dreifache. Diese Effizienz ist nicht nur beeindruckend, sie eröffnet auch neue Möglichkeiten für KI-Trainingsmethoden. 

Türen öffnen mit Llama 3

Da Llama 3 quelloffen ist, können Forscher/innen und Studierende den Code studieren, Experimente durchführen und sich an Diskussionen über ethische Bedenken und Vorurteile beteiligen. Aber Llama 3 ist nicht nur für die akademische Welt gedacht. Auch in der Praxis schlägt es hohe Wellen. Es wird zum Rückgrat des Meta AI Chat Interface und lässt sich nahtlos in Plattformen wie Facebook, Instagram, WhatsApp und Messenger integrieren. Mit Meta AI können Nutzer/innen Gespräche in natürlicher Sprache führen, auf personalisierte Empfehlungen zugreifen, Aufgaben erledigen und ganz einfach mit anderen in Kontakt treten.

Vergleich von Llama 3 mit anderen LLMs

Llama 3 schneidet bei mehreren wichtigen Benchmarks, die das komplexe Sprachverständnis und die Fähigkeit zum logischen Denken bewerten, außergewöhnlich gut ab. Hier sind einige der Benchmarks, die verschiedene Aspekte der Fähigkeiten von Llama 3 testen:

• Massive Multitask Language Understanding (MMLU) - Misst sein Wissen über verschiedene Bereiche hinweg. 
• General Purpose Question Answering (GPQA) - Bewertet die Fähigkeit des Modells, kohärente und korrekte Antworten auf eine breite Palette von Fragen zum Allgemeinwissen zu geben.
• HumanEval - Konzentriert sich auf Programmier- und Problemlösungsaufgaben und testet die Fähigkeit des Modells, funktionalen Programmiercode zu erzeugen und algorithmische Herausforderungen zu lösen.

Mit seinen hervorragenden Ergebnissen in diesen Tests hebt sich das Llama 3 deutlich von Konkurrenten wie dem Gemma 7B von Google, dem Mistral 7B von Mistral und dem Claude 3 Sonnet von Anthropicab. Den veröffentlichten Statistiken zufolge übertrifft das Llama 3 diese Modelle, insbesondere das Modell 70B, in allen oben genannten Benchmarks.

Meta Llama 3 wird weithin zugänglich gemacht

Meta erweitert die Reichweite von Llama 3, indem es über eine Vielzahl von Plattformen sowohl für normale Nutzer/innen als auch für Entwickler/innen verfügbar gemacht wird. Für normale Nutzer/innen ist Llama 3 in die beliebten Plattformen von Meta wie WhatsApp, Instagram, Facebook und Messenger integriert. Die Nutzer/innen können auf erweiterte Funktionen wie die Echtzeitsuche und die Möglichkeit, kreative Inhalte zu erstellen, direkt in diesen Apps zugreifen. 

Llama 3 wird auch in tragbare Technologien wie die Ray-Ban Meta Smart Glasses und das Meta Quest VR-Headset für interaktive Erlebnisse integriert.

Llama 3 ist auf einer Vielzahl von Plattformen für Entwickler verfügbar, darunter AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM und Snowflake. Du kannst auch direkt von Meta aus auf diese Modelle zugreifen. Die große Auswahl an Optionen macht es Entwicklern leicht, diese fortschrittlichen KI-Modelle in ihre Projekte zu integrieren, egal ob sie es vorziehen, direkt mit Meta oder über andere beliebte Plattformen zu arbeiten.

Das Mitnehmen

Die Fortschritte beim maschinellen Lernen verändern die Art und Weise, wie wir tagtäglich mit Technologie umgehen. Metas Llama 3 zeigt, dass es bei LLMs nicht mehr nur um die Erzeugung von Text geht. LLMs bewältigen komplexe Probleme und können mehrere Sprachen verarbeiten. Insgesamt macht Llama 3 die KI anpassungsfähiger und zugänglicher als je zuvor. Geplante Upgrades für Llama 3 versprechen noch mehr Fähigkeiten, wie die Handhabung mehrerer Modelle und das Verstehen größerer Zusammenhänge. 

Schau dir unser GitHub-Repository an und werde Mitglied unserer Community, um mehr über KI zu erfahren. Auf unseren Lösungsseiten erfährst du, wie KI in Bereichen wie Fertigung und Landwirtschaft eingesetzt wird.