Etikett glätten

So funktioniert die Etikettenglättung

Bei einem typischen Klassifizierungsproblem des überwachten Lernens bestehen die Trainingsdaten aus Eingaben und den entsprechenden korrekten Bezeichnungen. Bei einer Bildklassifizierungsaufgabe zum Beispiel würde ein Bild einer Katze die Bezeichnung "Katze" als einen kodierten Ein-Hot-Vektor wie für die Klassen [Katze, Hund, Vogel] haben. Bei der Berechnung der Verlustfunktion wird das Modell danach bestraft, wie weit seine Vorhersage von diesem harten Ziel entfernt ist.

Das Label Smoothing verändert dieses Ziel. Sie reduziert die Zielwahrscheinlichkeit für die richtige Klasse leicht (z. B. auf 0,9) und verteilt die verbleibende kleine Wahrscheinlichkeit (in diesem Fall 0,1) gleichmäßig auf die falschen Klassen. Das neue "weiche" Ziel könnte also wie [0,9, 0,05, 0,05] aussehen. Diese kleine Änderung hält die letzte Logit-Schicht eines neuronalen Netzes davon ab, extrem große Werte für eine Klasse zu erzeugen, was dazu beiträgt, eine Überanpassung zu verhindern. Dieser Prozess kann während der Modellschulung mit Plattformen wie Ultralytics HUB verwaltet werden.

Vorteile der Etikettenglättung

Der Hauptvorteil des Label Smoothing besteht darin, dass es die Modellkalibrierung verbessert. Die vorhergesagten Konfidenzwerte eines gut kalibrierten Modells spiegeln die tatsächliche Wahrscheinlichkeit der Korrektheit genauer wider. Dies ist entscheidend für Anwendungen, bei denen das Verständnis der Modellsicherheit wichtig ist, wie z. B. bei der medizinischen Bildanalyse. Durch die Vermeidung von Overconfidence wird auch die Fähigkeit des Modells verbessert, auf neue Daten zu verallgemeinern - ein wichtiges Ziel jedes Projekts des maschinellen Lernens. Dies führt oft zu einem leichten Anstieg der Genauigkeit. Eine bessere Verallgemeinerung führt zu robusteren Modellen für die Echtzeit-Inferenz und den endgültigen Einsatz des Modells.

Anwendungen in der realen Welt

Die Etikettenglättung ist eine einfache, aber wirksame Technik, die in verschiedenen modernen Modellen eingesetzt wird.

1. Groß angelegte Bildklassifizierung: Modelle wie Ultralytics YOLO, die für Bildklassifizierungsaufgaben auf umfangreichen Datensätzen wie ImageNet trainiert wurden, verwenden häufig Label Smoothing. Diese Datensätze können manchmal verrauschte oder falsche Beschriftungen aus dem Datenbeschriftungsprozess enthalten. Das Label Smoothing macht das Modell robuster gegenüber diesem Label-Rauschen und verhindert, dass es lernt, sich zu sehr auf potenziell falsche Labels zu verlassen. Sie können eine Vielzahl von Klassifizierungsdatensätzen für Ihre Projekte untersuchen.
2. Verarbeitung natürlicher Sprache (NLP): Bei Aufgaben wie der maschinellen Übersetzung kann es mehrere gültige Übersetzungen für einen einzigen Satz geben. Das Label Smoothing, das in Modellen wie dem Transformer verwendet wird, hält das Modell davon ab, einem einzigen korrekten Wort im Vokabular eine Wahrscheinlichkeit von 1,0 zuzuweisen, da es anerkennt, dass auch andere Wörter geeignet sein könnten. Dieses Konzept ist grundlegend für das moderne NLP und wird in Ressourcen von Institutionen wie der Stanford NLP Group diskutiert.

Etikettenglättung vs. verwandte Konzepte

Es ist wichtig, das Label Smoothing von anderen Regularisierungstechniken zu unterscheiden.

• Harte Etiketten: Dies ist der Standardansatz, bei dem das Modell mit absoluter Sicherheit trainiert wird (100% für die richtige Klasse). Label Smoothing ist eine direkte Alternative dazu.
• Datenerweiterung: Hierbei handelt es sich um eine weitere Regularisierungstechnik, bei der neue Trainingsbeispiele durch die Anwendung von Transformationen auf bestehende Daten erstellt werden. Sie erhöht die Datensatzvielfalt, während das Label Smoothing die Zielwerte selbst verändert. Anleitungen zur YOLO-Datenerweiterung finden Sie in der Ultralytics-Dokumentation.
• Ausscheiden: Bei dieser Methode wird bei jedem Trainingsschritt zufällig ein Teil der Neuronen deaktiviert, um komplexe Koadaptionen zu verhindern. Sie verändert die Architektur des Modells während des Trainings, während Label Smoothing die Verlustberechnung verändert. Ein tieferer Einblick in Dropout findet sich in einem Artikel von GeeksforGeeks zu diesem Thema.
• Wissensdestillation: Bei dieser Technik wird ein kleineres "Schüler"-Modell anhand der Soft-Labels trainiert, die von einem größeren, vorab trainierten "Lehrer"-Modell erzeugt werden. Zwar werden auch hier Soft-Labels verwendet, aber die Quelle dieser Labels sind die Vorhersagen eines anderen Modells und nicht eine einfache Heuristik, die auf die Ground-Truth-Labels angewendet wird, wie beim Label Smoothing. Das Originalpapier Distilling the Knowledge in a Neural Network bietet ein grundlegendes Verständnis für dieses Konzept.