Wissensdestillation

Wie die Wissensdestillation funktioniert

Der Kerngedanke der Knowledge Distillation besteht darin, dass das Schülermodell nicht nur auf der Grundlage der für das Trainieren des ursprünglichen Lehrermodells verwendeten Kennzeichnungen (Hard Targets) trainiert wird, sondern auch auf der Grundlage der vom Lehrermodell selbst erzeugten Ergebnisse. Oft handelt es sich bei diesen Lehrerausgaben um "weiche Ziele" - Klassenwahrscheinlichkeiten oder Verteilungen, die von der letzten Schicht des Lehrermodells erzeugt werden (z. B. nach einer Softmax-Funktion ). Diese Soft-Targets enthalten umfassendere Informationen über die Beziehungen zwischen den verschiedenen Klassen als die Hard-Labels allein. Ein Lehrermodell könnte zum Beispiel ein Bild eines Lkw zu 70 % als Lkw, zu 25 % als Pkw und zu 5 % als Bus vorhersagen und so differenzierte Informationen liefern, aus denen der Schüler lernen kann. Das Trainingsziel des Schülermodells kombiniert in der Regel eine Standardverlustfunktion (Vergleich der Schülervorhersagen mit der Grundwahrheit) mit einem Destillationsverlust (Vergleich der Schülervorhersagen/Weichziele mit den Weichzielen des Lehrers). Dieses Verfahren, das ursprünglich von Hinton, Vinyals und Dean propagiert wurde, führt den Schüler dazu, den Denkprozess des Lehrers nachzuahmen.

Vorteile und Anwendungen

Knowledge Distillation bietet mehrere entscheidende Vorteile:

• Modellkomprimierung: Sie ermöglicht die Erstellung von leichtgewichtigen Modellen, die weniger Speicherplatz benötigen, was für den Einsatz von Modellen auf Geräten mit begrenzter Kapazität entscheidend ist.
• Schnellere Inferenz: Kleinere Modelle führen Inferenzen im Allgemeinen viel schneller durch und ermöglichen so Echtzeit-Inferenzen für Anwendungen wie die Objekterkennung mit Ultralytics YOLO Modellen auf Edge-Plattformen. Erforsche die Möglichkeiten für den Einsatz von Computer Vision Anwendungen auf Edge AI Geräten.
• Geringere Rechenkosten: Die Ausbildung und Ausführung kleinerer Modelle verbraucht weniger Energie und Rechenressourcen.
• Wissenstransfer: Es erleichtert die Übertragung von komplexem Wissen, das von großen Modellen gelernt wurde, die möglicherweise auf riesigen Datensätzen wie ImageNet trainiert wurden, auf kleinere Architekturen.

Zu den Anwendungen in der Praxis gehören:

1. Edge Computing: Einsatz anspruchsvoller Computer-Vision-Modelle auf Geräten wie Smartphones oder eingebetteten Systemen für Aufgaben wie die Bildklassifizierung oder -erkennung, bei denen Rechenleistung und Akkulaufzeit eine Rolle spielen. Ein großes, genaues Modell wie YOLOv8x könnte als Lehrer für einen kleineren Schüler wie YOLOv8n dienen.
2. Komplexe Aufgaben beschleunigen: Wie auf der YOLO Vision 2023 hervorgehoben wurde, können große Foundation-Modelle für anspruchsvolle Aufgaben wie detaillierte Datenannotationen verwendet und ihr Wissen in kleinere, schnellere Modelle für einen effizienten Einsatz destilliert werden, wodurch Prozesse wie die Datenbeschriftung erheblich beschleunigt werden.
3. Verarbeitung natürlicher Sprache (NLP): Komprimierung großer Sprachmodelle wie BERT oder GPT in kleinere Versionen für eine schnellere Textanalyse oder Übersetzung auf Benutzergeräten.

Verwandte Konzepte

Knowledge Distillation ist mit anderen Modelloptimierungstechniken verwandt, unterscheidet sich aber in ihrem Ansatz:

• Model Pruning: Reduziert die Modellgröße, indem überflüssige Parameter (Gewichte oder Verbindungen) aus einem bereits trainierten Netz entfernt werden. Das KD trainiert ein separates, kleineres Netz.
• Modellquantisierung: Verringert die Größe des Modells und beschleunigt die Berechnungen durch die Verwendung von numerischen Formaten mit geringerer Genauigkeit (z. B. INT8 statt FP32) für Gewichte und Aktivierungen. Im Gegensatz zu KD wird die Modellarchitektur selbst nicht verändert. Diese Techniken(Modelloptimierung) sind oft komplementär und können zusammen eingesetzt werden.
• Transferlernen: Ein umfassenderes Konzept, bei dem das Wissen aus einer Aufgabe auf eine andere, aber verwandte Aufgabe übertragen wird. KD kann als eine spezielle Form des Transferlernens betrachtet werden, bei der es darum geht, Wissen von einem großen Modell auf ein kleineres Modell für dieselbe Aufgabe zu übertragen, vor allem zur Komprimierung.