Großes Sprachmodell (LLM)

Definition

Ein Large Language Model ist im Grunde ein hochentwickeltes neuronales Netzwerk (NN), das in der Regel auf der Transformer-Architektur basiert. Das "Large" in LLM bezieht sich auf die riesige Anzahl von Parametern - Variablen, die während des Trainings angepasst werden - die von Milliarden bis zu Billionen reichen können. Mehr Parameter ermöglichen es dem Modell im Allgemeinen, komplexere Muster aus den Daten zu lernen. LLMs lernen diese Muster durch unüberwachtes Lernen aus riesigen Textkorpora, die aus dem Internet, Büchern und anderen Quellen stammen. Dieser Prozess hilft ihnen, Grammatik, Fakten, Argumentationsfähigkeiten und sogar Verzerrungen in den Daten zu erfassen. Zu den Kernfähigkeiten gehört die Vorhersage von nachfolgenden Wörtern in einem Satz, was die Grundlage für Aufgaben wie die Texterstellung und die Beantwortung von Fragen bildet. Bekannte Beispiele sind die GPT-Serie von OpenAI wie GPT-4, Llama-Modelle von Meta AI wie Llama 3, Gemini von Google DeepMind und Claude von Anthropic.

Anwendungen

Die Vielseitigkeit der LLMs ermöglicht es, sie in verschiedenen Bereichen anzuwenden. Hier sind zwei konkrete Beispiele:

• Konversationelle KI: LLMs treiben anspruchsvolle Chatbots und virtuelle Assistenten wie ChatGPT und Google Assistant und ermöglichen im Vergleich zu älteren regelbasierten Systemen natürlichere und kontextbewusste Interaktionen. Sie können Kundendienstanfragen bearbeiten, Informationen bereitstellen und komplexe Dialoge führen.
• Erstellung von Inhalten und Zusammenfassungen: Unternehmen und Privatpersonen nutzen LLMs, um Marketingtexte zu erstellen, Artikel zu verfassen, Codeschnipsel zu erstellen und lange Dokumente zusammenzufassen(Text Summarization). Tools wie Microsoft Copilot integrieren LLMs, um Nutzer/innen bei verschiedenen Schreib- und Codierungsaufgaben zu unterstützen.

Schlüsselkonzepte

Um LLMs zu verstehen, musst du dich mit mehreren verwandten Konzepten vertraut machen:

• Stiftung Modelle: LLMs werden als eine Art Basismodell betrachtet, d.h. es handelt sich um große Modelle, die auf einer breiten Datenbasis trainiert wurden und für verschiedene nachgelagerte Aufgaben angepasst(fein abgestimmt) werden können.
• Aufmerksamkeitsmechanismen: Aufmerksamkeit ist ein wichtiger Bestandteil der Transformer-Architektur und ermöglicht es dem Modell, die Wichtigkeit verschiedener Wörter in der Eingabesequenz bei der Generierung der Ausgabe abzuwägen, sodass weitreichende Abhängigkeiten und Kontext besser berücksichtigt werden können. Das grundlegende Dokument, das dies vorstellt, ist"Attention Is All You Need".
• Schnelles Engineering: Hierbei handelt es sich um das Entwerfen effektiver Eingaben (Prompts), die das LLM zur Erzeugung des gewünschten Ergebnisses anleiten. Die Qualität der Eingabeaufforderung hat einen großen Einfluss auf die Antwort des Modells.
• Tokenisierung: LLMs verarbeiten Text, indem sie ihn in kleinere Einheiten, sogenannte Token (Wörter, Unterwörter oder Zeichen), zerlegen. Die Art und Weise, wie der Text in Token zerlegt wird, beeinflusst die Leistung des Modells und die Rechenkosten.

LLMs eignen sich zwar hervorragend für Sprachaufgaben, unterscheiden sich aber von Modellen, die hauptsächlich für Computer Vision (CV) entwickelt wurden, wie z. B. Ultralytics YOLO für die Objekterkennung. Der Aufschwung der multimodalen Modelle und der Vision Language Models überbrückt jedoch diese Lücke und kombiniert Sprachverständnis mit visueller Verarbeitung. Plattformen wie Ultralytics HUB erleichtern das Training und den Einsatz verschiedener KI-Modelle, einschließlich solcher für Sehaufgaben.