Stiftung Modell

Wesentliche Merkmale

Stiftungsmodelle werden durch mehrere Kernmerkmale definiert:

• Umfang: Sie sind in der Regel sehr groß, umfassen Milliarden oder sogar Billionen von Parametern und werden auf riesigen Datensätzen trainiert, die oft aus dem Internet oder anderen umfangreichen Quellen stammen(Big Data).
• Vor-Training: Sie durchlaufen eine intensive Pre-Training-Phase, normalerweise mit selbstüberwachtem Lernen oder unüberwachten Methoden, bei denen das Modell aus der inhärenten Struktur der Daten selbst lernt, ohne explizite Labels.
• Anpassungsfähigkeit: Ein entscheidender Vorteil ist ihre Anpassungsfähigkeit. Wenn sie einmal trainiert sind, können sie mit relativ kleinen Mengen an gelabelten Daten für bestimmte Aufgaben wie Stimmungsanalyse, Bilderkennung oder Objekterkennung feinabgestimmt werden, indem sie das allgemeine Wissen aus dem Vortraining nutzen. Dieser Prozess ist eine Form des Transferlernens.
• Homogenisierung: Sie führen Fähigkeiten, für die zuvor mehrere spezialisierte Modelle erforderlich waren, in einem einzigen, anpassungsfähigen Rahmen zusammen und vereinfachen so möglicherweise die MLOps.

Wie Stiftungsmodelle funktionieren

Die Erstellung und Nutzung von Stiftungsmodellen erfolgt in der Regel in zwei Phasen:

1. Vor-Training: Das Modell wird mit einem umfangreichen, vielfältigen Datensatz trainiert. Bei Sprachmodellen wie GPT-3 geht es darum, das nächste Wort in einem Satz vorherzusagen. Bei Bildgebungsmodellen kann es darum gehen, maskierte Bildbereiche zu rekonstruieren oder Assoziationen zwischen Bildern und Text zu lernen(CLIP). Diese Phase erfordert erhebliche Rechenressourcen (GPU, TPU).
2. Feinabstimmung/Adaption: Das trainierte Modell wird dann für eine bestimmte nachgelagerte Aufgabe angepasst, indem ein kleinerer, aufgabenspezifisch markierter Datensatz verwendet wird. Techniken wie die Feinabstimmung passen die Modellgewichte an, während Methoden wie das Prompt-Engineering die Ausgabe des Modells ohne Änderung der Gewichte steuern, was besonders für Large Language Models (LLMs) relevant ist.

Beispiele und Anwendungen

Stiftungsmodelle umfassen verschiedene Bereiche:

• Natürliche Sprachverarbeitung (NLP): LLMs wie BERT und GPT-4 sind Paradebeispiele, die in der Lage sind, Texte zu generieren, zu übersetzen, zusammenzufassen und mehr. Beispiel aus der realen Welt: Fortschrittliche Chatbots für den Kundenservice, die den Kontext verstehen und differenzierte Antworten geben, werden oft durch die Feinabstimmung von LLMs entwickelt.
• Computer Vision (CV): Modelle wie Vision Transformer (ViT) und Segment Anything Model (SAM) dienen als Grundmodelle für Bildverarbeitungsaufgaben. Sie können für die Bildklassifizierung, Bildsegmentierung und Erkennung angepasst werden. Beispiel aus der Praxis: Werkzeuge für die medizinische Bildanalyse können entwickelt werden, indem ein Bildverarbeitungsmodell an Datensätzen von Röntgenbildern oder MRTs angepasst wird, um bestimmte Krankheiten wie Tumore zu erkennen.
• Multimodale Modelle: Modelle wie CLIP oder DALL-E verarbeiten Informationen aus mehreren Modalitäten (z. B. Text und Bilder) gleichzeitig. Das Verständnis dieser Modelle ist entscheidend für die Weiterentwicklung der KI(Understanding Vision Language Models).

Stiftungsmodelle vs. andere Modelle

• Aufgabenspezifische Modelle: Im Gegensatz zu Basismodellen werden beim traditionellen ML Modelle oft von Grund auf auf spezifischen Datensätzen für einzelne Aufgaben trainiert (z. B. das Training eines Ultralytics YOLO Modell ausschließlich für die Erkennung von Objekten in Luftbildern). Das ist zwar effektiv, erfordert aber für jede neue Aufgabe einen erheblichen Aufwand an gekennzeichneten Daten. Die Basismodelle zielen darauf ab, diesen Aufwand durch Transferlernen zu verringern.
• Große Sprachmodelle (LLMs): LLMs sind ein bekannter Typ von Basismodellen, die speziell für Sprachaufgaben entwickelt wurden. Der Begriff "Basismodell" ist weiter gefasst und umfasst auch Modelle für Sehen, Hören und andere Modalitäten.
• Lebenslaufmodelle: Während einige große Visionsmodelle wie ViT oder SAM als Basismodelle gelten, sind viele CV-Modelle, einschließlich bestimmter Versionen von YOLOv8 oder YOLO11 die für bestimmte Anwendungen(KI in der Landwirtschaft, KI in der Automobilindustrie) trainiert wurden, werden in der Regel speziell für diese Bildverarbeitungsaufgaben abgestimmt oder trainiert und sind nicht als Allzweck-Basismodelle zu betrachten. Der Trend zur Verwendung von vortrainierten Basismodellen beruht jedoch auf dem Grundgedanken, allgemeine Merkmale zu nutzen.

Ausbildung und Ressourcen

Das Vortraining von Basismodellen ist rechenintensiv und erfordert oft riesige GPU- oder TPU-Cluster und einen erheblichen technischen Aufwand, der normalerweise von großen Forschungslabors oder Unternehmen wie GoogleMeta AI und OpenAI. Sind diese Modelle jedoch einmal trainiert, können sie effizienter angepasst werden. Plattformen wie Ultralytics HUB bieten Tools zum Trainieren von benutzerdefinierten Modellen, zum Verwalten von DatensätzenUltralytics Datasets) und zum Bereitstellen von Lösungen(Model Deployment Options), wobei häufig bereits trainierte Gewichte verwendet werden, die grundlegendes Wissen enthalten. Eine wirksame Anpassung erfordert dennoch eine sorgfältige Abstimmung der Hyperparameter und möglicherweise eine Datenerweiterung.

Bedeutung und Zukunft

Gründungsmodelle verändern die KI-LandschaftRoboflow über Gründungsmodelle). Sie beschleunigen die Entwicklung, ermöglichen neue Anwendungen und werfen wichtige Fragen zu KI-Ethik, Voreingenommenheit und Zugang zu Computern auf. Forschungseinrichtungen wie das Center for Research on Foundation Models (CRFM) in Stanford widmen sich der Untersuchung ihrer Fähigkeiten und gesellschaftlichen Auswirkungen. In Zukunft werden wahrscheinlich leistungsfähigere, effizientere und potenziell multimodale Gründungsmodelle Innovationen in Wissenschaft, Industrie und Alltag vorantreiben(KI-Anwendungsfälle).