Glossar

Semi-überwachtes Lernen

Entdecke, wie Semi-Supervised Learning gelabelte und nicht gelabelte Daten kombiniert, um KI-Modelle zu verbessern, die Labeling-Kosten zu senken und die Genauigkeit zu erhöhen.

Trainiere YOLO Modelle einfach
mit Ultralytics HUB

Mehr erfahren

Semi-Überwachtes Lernen (Semi-Supervised Learning, SSL) ist ein leistungsfähiger Mittelweg im maschinellen Lernen (ML), bei dem eine kleine Menge an gekennzeichneten Daten mit einer großen Menge an nicht gekennzeichneten Daten während des Trainings kombiniert wird. Dieser Ansatz ist besonders wertvoll in Szenarien, in denen die Beschaffung von gekennzeichneten Daten teuer, zeitaufwändig oder unpraktisch ist, während unbeschriftete Daten im Überfluss vorhanden sind. SSL zielt darauf ab, die zugrundeliegende Struktur in den unmarkierten Daten zu nutzen, um die Leistung des Modells über das hinaus zu verbessern, was nur mit den begrenzten markierten Daten erreicht werden könnte, was es zu einer praktischen Technik für viele reale Probleme der Künstlichen Intelligenz (KI) macht.

Wie Semi-Supervised Learning funktioniert

SSL-Algorithmen funktionieren, indem sie bestimmte Annahmen über die Beziehung zwischen den beschrifteten und den unbeschrifteten Daten treffen. Zu den gängigen Annahmen gehören die "Glattheitsannahme" (nahe beieinander liegende Punkte teilen wahrscheinlich ein Label) oder die "Clusterannahme" (Daten neigen dazu, verschiedene Cluster zu bilden, und Punkte innerhalb desselben Clusters teilen wahrscheinlich ein Label). Häufig wird ein erstes Modell auf den beschrifteten Daten trainiert und dann verwendet, um Pseudo-Beschriftungen für die nicht beschrifteten Daten auf der Grundlage von Vorhersagen mit hoher Zuverlässigkeit zu erstellen. Das Modell wird dann sowohl auf den ursprünglichen beschrifteten Daten als auch auf den neu pseudo-beschrifteten Daten neu trainiert. Ein anderer Ansatz ist die Konsistenzregulierung, bei der das Modell dazu angehalten wird, für ein unbeschriftetes Beispiel die gleiche Ausgabe zu liefern, auch wenn die Eingabe leicht gestört ist. Diese Methoden ermöglichen es dem Modell, aus den Mustern und der Verteilung zu lernen, die in dem großen Pool von unbeschrifteten Beispielen enthalten sind. Fortgeschrittenere Techniken werden in Ressourcen wie den Google AI Blog-Beiträgen zu SSL erforscht.

Vergleich mit anderen Lernparadigmen

Semi-Supervised Learning nimmt einen einzigartigen Platz zwischen anderen primären Lerntypen ein:

  • Überwachtes Lernen: Verlässt sich ausschließlich auf gelabelte Trainingsdaten. SSL unterscheidet sich davon, indem es unmarkierte Daten einbezieht, um die Leistung zu verbessern, wenn markierte Daten knapp sind.
  • Unüberwachtes Lernen: Verwendet nur unmarkierte Daten, um Muster oder Strukturen zu finden, z. B. Clustering oder Dimensionalitätsreduktion. SSL nutzt unmarkierte Daten, leitet den Lernprozess aber mit einer kleinen Menge markierter Beispiele, um Aufgaben wie Klassifizierung oder Regression durchzuführen.
  • Self-Supervised Learning (SSL): Eine Art des unüberwachten Lernens, bei dem die Kennzeichnungen automatisch aus den Eingabedaten selbst generiert werden (z. B. Vorhersage eines maskierten Teils eines Bildes). Es verwendet zwar unmarkierte Daten, aber der Mechanismus zur Erzeugung von Supervision unterscheidet sich von typischen semi-supervised Methoden, die explizit vormarkierte und unmarkierte Daten kombinieren.

Anwendungen in der realen Welt

SSL ist sehr effektiv in Bereichen, in denen die Kennzeichnung ein Engpass ist:

  1. Klassifizierung von Webseiten: Es ist machbar, eine kleine Anzahl von Websites (z. B. "Sport", "Nachrichten", "Technik") manuell zu kennzeichnen, aber unpraktisch, Milliarden von Websites zu kennzeichnen. SSL kann die riesige Zahl der nicht beschrifteten Websites nutzen, um die Genauigkeit und Robustheit des Klassifizierers zu verbessern, indem es aus Textinhalten und Linkstrukturen lernt(Überblick über Web Content Mining).
  2. Spracherkennung: Die Transkription von Audiodaten erfordert einen erheblichen menschlichen Aufwand. SSL ermöglicht es Systemen, mit einer kleinen Menge transkribierter Audiodaten neben großen Mengen untranskribierter Audiodaten zu trainieren und so die Erkennung verschiedener Akzente und Sprechweisen zu verbessern(Sprachverarbeitungsforschung).
  3. Medizinische Bildanalyse: Die fachkundige Kommentierung medizinischer Scans (wie MRT- oder CT-Scans zur Tumorerkennung) ist kostspielig und erfordert Spezialwissen. SSL kann zahlreiche unbeschriftete Scans nutzen, um die Leistung von Diagnosemodellen zu verbessern, die auf einer begrenzten Anzahl von beschrifteten Bildern trainiert wurden, was zu besseren KI-Lösungen im Gesundheitswesen führen könnte.
  4. Objekterkennung in der Computer Vision (CV): Die Erstellung präziser Bounding Boxes für Objekte in Tausenden von Bildern ist arbeitsintensiv(Datensammlung und Beschriftungsanleitung). SSL-Techniken können eine Vielzahl von unbeschrifteten Bildern oder Videoframes neben einem kleineren beschrifteten Datensatz verwenden, um die Detektorleistung für Modelle wie Ultralytics YOLO.

Vorteile und Herausforderungen

Der Hauptvorteil von SSL besteht darin, dass es die Abhängigkeit von großen beschrifteten Datensätzen verringert und damit Zeit und Ressourcen spart, die mit der Datenbeschriftung verbunden sind. Im Vergleich zu rein überwachten Modellen, die auf begrenzten Daten trainiert wurden, führt SSL oft zu einer besseren Modellgeneralisierung, indem Informationen aus nicht beschrifteten Stichproben genutzt werden. Der Erfolg von SSL hängt jedoch stark davon ab, dass die zugrunde liegenden Annahmen über die Daten korrekt sind. Wenn diese Annahmen nicht zutreffen (z. B. wenn sich die Verteilung der unmarkierten Daten stark von der der markierten Daten unterscheidet), können SSL-Methoden die Leistung sogar verschlechtern. Die sorgfältige Auswahl und Umsetzung von SSL-Techniken ist entscheidend und erfordert oft Fachwissen über MLOps-Praktiken.

Tools und Schulungen

Viele moderne Deep Learning (DL) -Frameworks, darunter PyTorchPyTorch offizielle Seite) und TensorFlowTensorFlow official site), bieten Funktionen oder können angepasst werden, um SSL-Algorithmen zu implementieren. Bibliotheken wie Scikit-learn bieten einige SSL-Methoden. Plattformen wie Ultralytics HUB rationalisieren den Prozess, indem sie die Verwaltung von DatensätzenUltralytics HUB Datasets documentation) erleichtern, die eine Mischung aus beschrifteten und unbeschrifteten Daten enthalten können, und das TrainingUltralytics HUB Cloud Training) und den Einsatz(model deployment options guide) von Modellen vereinfachen, die für die Nutzung solcher Datenstrukturen entwickelt wurden. Die Forschung im Bereich SSL entwickelt sich ständig weiter und Beiträge werden häufig auf großen KI-Konferenzen wie NeurIPS und ICML präsentiert.

Alles lesen