Selbstüberwachtes Lernen

Wie selbstüberwachtes Lernen funktioniert

Die Kernidee hinter SSL ist die Erstellung einer "Vorwandaufgabe". Dabei handelt es sich um eine vom Praktiker entworfene Hilfsaufgabe, bei der das Modell eine Eigenschaft der Daten vorhersagt, die absichtlich verborgen oder verändert wurde. Das Lösen der Vorwandaufgabe zwingt das Modell dazu, sinnvolle zugrundeliegende Muster und Darstellungen der Daten zu lernen.

In der Computer Vision beispielsweise besteht eine häufige Aufgabe darin, dem Modell Teile eines Bildes zu zeigen und es aufzufordern, die relative Position dieser Teile vorherzusagen, oder die Farbe eines Bildes nur anhand seiner Graustufenversion vorherzusagen. Im NLP ist eine beliebte Technik die maskierte Sprachmodellierung (verwendet von Modellen wie BERT), bei der das Modell Wörter vorhersagt, die in einem Satz ausgeblendet wurden.

Durch das Training mit diesen selbst erstellten Labels über große Datensätze entwickelt das Modell robuste Merkmalsrepräsentationen. Diese gelernten Merkmale(Embeddings) erfassen wesentliche Merkmale der Daten. Diese erste Trainingsphase wird oft als Pre-Training bezeichnet. Das trainierte Modell kann dann für bestimmte nachgelagerte Aufgaben (z. B. Objekterkennung, Bildklassifizierung oder Bildsegmentierung) durch einen Prozess namens Feintuning angepasst werden. Das macht SSL zu einem wichtigen Instrument des Transferlernens.

Anwendungen in der realen Welt

Selbstüberwachtes Lernen hat in der KI große Fortschritte gemacht:

• Grundlegende Modelle in der Bildverarbeitung: Große Bildverarbeitungsmodelle werden oft mit SSL-Techniken wie kontrastivem Lernen (z. B. SimCLR, MoCo) auf riesigen unbeschrifteten Bilddatensätzen vortrainiert. Diese vortrainierten Gewichte bieten eine gute Ausgangsbasis für verschiedene CV-Aufgaben, verbessern die Leistung und verringern den Bedarf an umfangreichen gelabelten Daten, wenn Modelle wie Ultralytics YOLO11.
• Große Sprachmodelle (LLMs): Grundlegende LLMs wie GPT-4 werden mithilfe von selbstüberwachten Zielen (Vorhersage des nächsten Wortes, maskierte Sprachmodellierung) auf Textdaten im Internetmaßstab vortrainiert. Auf diese Weise lernen sie Grammatik, Fakten und Argumentationsfähigkeiten, bevor sie für bestimmte Anwendungen wie Chatbots oder Textzusammenfassungen fein abgestimmt werden.

Selbstüberwachtes Lernen im Vergleich zu ähnlichen Konzepten

Es ist hilfreich, SSL von verwandten ML-Paradigmen zu unterscheiden:

• Überwachtes Lernen: Benötigt einen vollständig beschrifteten Datensatz, bei dem jeder Datenpunkt eine entsprechende, von Menschen vergebene Grundbeschriftung hat.
• Unüberwachtes Lernen: Arbeitet mit nicht beschrifteten Daten, konzentriert sich aber in der Regel auf die Entdeckung inhärenter Strukturen, wie die Gruppierung ähnlicher Datenpunkte mithilfe von Clustering-Algorithmen (z. B. K-Means) oder die Reduzierung der Dimensionalität. Es beinhaltet in der Regel keine prädiktiven Vorhersageaufgaben für das Repräsentationslernen wie SSL.
• Semi-supervised Learning: Verwendet beim Training eine Kombination aus einer kleinen Menge an gekennzeichneten Daten und einer großen Menge an nicht gekennzeichneten Daten. SSL wird häufig für die Pre-Trainingsphase verwendet, gefolgt von einer halbüberwachten oder überwachten Feinabstimmung.

Selbstüberwachtes Lernen stellt eine wichtige Brücke dar, indem es die Fülle an unmarkierten Daten nutzt, um leistungsstarke Repräsentationen zu erstellen, die die Abhängigkeit von kostspieligen markierten Datensätzen deutlich verringern und den Fortschritt in verschiedenen KI-Anwendungen und Plattformen wie Ultralytics HUB beschleunigen.