Modelloptimierung ist ein Prozess, der darauf abzielt, die Effizienz und Leistung von Modellen für maschinelles Lernen zu verbessern. Durch die Verfeinerung der Struktur und Funktion eines Modells ermöglicht die Optimierung, dass die Modelle mit minimalen Rechenressourcen und reduzierter Trainings- und Auswertungszeit bessere Ergebnisse liefern.

Dieser Prozess ist vor allem in Bereichen wie dem Computersehen wichtig, wo Modelle oft erhebliche Ressourcen benötigen, um komplexe Bilder zu analysieren. In ressourcenbeschränkten Umgebungen wie mobilen Geräten oder Edge-Systemen können optimierte Modelle mit begrenzten Ressourcen gut funktionieren und trotzdem genau sein.

Zur Modelloptimierung werden häufig verschiedene Techniken eingesetzt, darunter Hyperparameter-Tuning, Modellbeschneidung, Modellquantisierung und gemischte Präzision. In diesem Artikel werden wir uns mit diesen Techniken und ihren Vorteilen für Computer Vision Anwendungen beschäftigen. Los geht's!

Modell-Optimierung verstehen

Computer-Vision-Modelle haben in der Regel tiefe Schichten und komplexe Strukturen, die sich hervorragend für die Erkennung komplizierter Muster in Bildern eignen, aber sie können auch ziemlich viel Rechenleistung erfordern. Wenn diese Modelle auf Geräten mit begrenzter Hardware eingesetzt werden, wie z. B. Mobiltelefonen oder Edge-Geräten, können sie auf bestimmte Herausforderungen oder Einschränkungen stoßen. 

Die begrenzte Rechenleistung, der begrenzte Speicher und die begrenzte Energie auf diesen Geräten können zu spürbaren Leistungseinbußen führen, da die Modelle nicht mithalten können. Techniken zur Modelloptimierung sind der Schlüssel, um diese Probleme zu bewältigen. Sie helfen dabei, das Modell zu straffen, seinen Rechenbedarf zu reduzieren und sicherzustellen, dass es auch bei begrenzten Ressourcen noch effektiv arbeiten kann. Die Modelloptimierung kann durch die Vereinfachung der Modellarchitektur, die Verringerung der Rechengenauigkeit oder die Entfernung unnötiger Komponenten erfolgen, um das Modell leichter und schneller zu machen.

‍

Hier sind einige der gebräuchlichsten Modelloptimierungstechniken, die wir in den folgenden Abschnitten genauer untersuchen werden:

• Hyperparameter-Abstimmung: Dabei werden Hyperparameter wie die Lernrate und die Batchgröße systematisch angepasst, um die Leistung des Modells zu verbessern.
• Modellbeschneidung: Mit dieser Technik werden unnötige Gewichte und Verbindungen aus dem neuronalen Netz entfernt, was seine Komplexität und die Rechenkosten reduziert.
• Quantisierung des Modells: Bei der Quantisierung wird die Genauigkeit der Gewichte und Aktivierungen des Modells reduziert, in der Regel von 32-Bit auf 16-Bit oder 8-Bit, wodurch sich der Speicherbedarf und die Rechenanforderungen erheblich verringern.
• Präzisionseinstellungen: Auch bekannt als gemischtes Präzisionstraining. Dabei werden unterschiedliche Präzisionsformate für verschiedene Teile des Modells verwendet und die Ressourcennutzung optimiert, ohne die Genauigkeit zu beeinträchtigen.

Erläutert: Hyperparameter in Machine Learning Modellen

Du kannst einem Modell beim Lernen helfen und seine Leistung verbessern, indem du seine Hyperparameter abstimmst - Einstellungen, die bestimmen, wie das Modell aus Daten lernt. Das Hyperparameter-Tuning ist eine Technik zur Optimierung dieser Einstellungen, die die Effizienz und Genauigkeit des Modells verbessert. Im Gegensatz zu Parametern, die das Modell während des Trainings erlernt, sind Hyperparameter voreingestellte Werte, die den Trainingsprozess steuern.

Gehen wir einige Beispiele von Hyperparametern durch, die angepasst werden können:

• Lernrate: Dieser Parameter bestimmt die Schrittgröße, die das Modell benötigt, um seine internen Gewichte anzupassen. Eine höhere Lernrate kann das Lernen beschleunigen, birgt aber das Risiko, die optimale Lösung zu verpassen, während eine niedrigere Rate zwar genauer, aber langsamer ist.
• Stapelgröße: Sie legt fest, wie viele Datenproben in jedem Trainingsschritt verarbeitet werden. Größere Stapel bieten stabileres Lernen, benötigen aber mehr Speicherplatz. Kleinere Stapel trainieren schneller, können aber weniger stabil sein.
• Epochen: Mit diesem Parameter kannst du festlegen, wie oft das Modell den gesamten Datensatz sieht. Mehr Epochen können die Genauigkeit verbessern, bergen aber das Risiko einer Überanpassung.
• Kernelgröße: Sie definiert die Filtergröße in Convolutional Neural Networks (CNNs). Größere Kernel erfassen breitere Muster, benötigen aber mehr Verarbeitung; kleinere Kernel konzentrieren sich auf feinere Details.

Wie Hyperparameter-Tuning funktioniert

Die Abstimmung der Hyperparameter beginnt in der Regel mit der Festlegung eines Bereichs möglicher Werte für jeden Hyperparameter. Ein Suchalgorithmus prüft dann verschiedene Kombinationen innerhalb dieser Bereiche, um die Einstellungen zu ermitteln, die die beste Leistung erbringen. 

Zu den gängigen Optimierungsmethoden gehören die Rastersuche, die Zufallssuche und die Bayes'sche Optimierung. Bei der Rastersuche werden alle möglichen Kombinationen von Werten innerhalb der festgelegten Bereiche getestet. Bei der Zufallssuche werden Kombinationen nach dem Zufallsprinzip ausgewählt, wodurch oft schneller effektive Einstellungen gefunden werden. Die Bayes'sche Optimierung verwendet ein probabilistisches Modell, um auf der Grundlage früherer Ergebnisse vielversprechende Hyperparameterwerte vorherzusagen. Dieser Ansatz reduziert in der Regel die Anzahl der erforderlichen Versuche. 

Am Ende wird für jede Kombination von Hyperparametern die Leistung des Modells bewertet. Der Prozess wird so lange wiederholt, bis die gewünschten Ergebnisse erzielt werden.

Hyperparameter vs. Modellparameter

Wenn du an der Abstimmung der Hyperparameter arbeitest, fragst du dich vielleicht, was der Unterschied zwischen Hyperparametern und Modellparametern ist. 

Hyperparameter sind Werte, die vor dem Training festgelegt werden und die steuern, wie das Modell lernt, z. B. die Lernrate oder die Stapelgröße. Diese Einstellungen werden während des Trainings festgelegt und beeinflussen den Lernprozess direkt. Die Modellparameter hingegen werden während des Trainings vom Modell selbst erlernt. Dazu gehören Gewichte und Verzerrungen, die sich während des Trainings anpassen und letztlich die Vorhersagen des Modells bestimmen. Im Grunde genommen bestimmen die Hyperparameter den Lernprozess, während die Modellparameter die Ergebnisse dieses Lernprozesses sind.

‍

Warum Model Pruning beim Deep Learning wichtig ist

Model Pruning ist eine Technik zur Größenreduzierung, bei der unnötige Gewichte und Parameter aus einem Modell entfernt werden, um es effizienter zu machen. Beim Computer Vision, insbesondere bei tiefen neuronalen Netzen, kann eine große Anzahl von Parametern wie Gewichte und Aktivierungen (Zwischenergebnisse, die zur Berechnung des endgültigen Ergebnisses beitragen) sowohl die Komplexität als auch den Rechenaufwand erhöhen. Pruning hilft dabei, das Modell zu straffen, indem Parameter, die nur minimal zur Leistung beitragen, identifiziert und entfernt werden, was zu einem schlankeren, effizienteren Modell führt.

‍

Nachdem das Modell trainiert wurde, können Techniken wie das magnitudenbasierte Pruning oder die Sensitivitätsanalyse die Wichtigkeit der einzelnen Parameter bewerten. Parameter mit geringer Bedeutung werden dann mit einer der drei Haupttechniken beschnitten: Gewichtsbeschneidung, Neuronenbeschneidung oder strukturierte Beschneidung. 

Beim Weight Pruning werden einzelne Verbindungen mit minimalen Auswirkungen auf den Output entfernt. Beim Neuron Pruning werden ganze Neuronen entfernt, deren Ausgaben nur wenig zur Funktion des Modells beitragen. Strukturiertes Pruning entfernt größere Abschnitte, wie Faltungsfilter oder Neuronen in vollständig verknüpften Schichten, um die Effizienz des Modells zu optimieren. Sobald das Pruning abgeschlossen ist, wird das Modell neu trainiert, um die verbleibenden Parameter fein abzustimmen und eine hohe Genauigkeit in reduzierter Form zu gewährleisten.

Verringerung der Latenz in KI-Modellen mit Quantisierung

Die Modellquantisierung reduziert die Anzahl der Bits, die zur Darstellung der Gewichte und Aktivierungen eines Modells verwendet werden. Dabei werden in der Regel hochpräzise 32-Bit-Gleitkommawerte in niedrigere Präzisionswerte wie 16-Bit- oder 8-Bit-Ganzzahlen umgewandelt. Durch die Verringerung der Bitpräzision werden die Größe des Modells, der Speicherplatzbedarf und die Rechenkosten erheblich reduziert.

In der Computer Vision sind 32-Bit-Fließkommazahlen Standard, aber die Umwandlung in 16-Bit oder 8-Bit kann die Effizienz verbessern. Es gibt zwei Hauptarten der Quantisierung: Gewichtsquantisierung und Aktivierungsquantisierung. Bei der Gewichtsquantisierung wird die Genauigkeit der Gewichte des Modells verringert, um einen Ausgleich zwischen Größenreduzierung und Genauigkeit zu schaffen. Bei der Aktivierungsquantisierung wird die Genauigkeit der Aktivierungen verringert, was den Speicher- und Rechenbedarf weiter senkt.

‍

Wie gemischte Präzision die KI-Inferenzen beschleunigt

Gemischte Präzision ist eine Technik, bei der verschiedene Teile eines neuronalen Netzes mit unterschiedlichen numerischen Genauigkeiten arbeiten. Durch die Kombination von Werten mit höherer Genauigkeit, wie z. B. 32-Bit-Fließkommazahlen, mit Werten mit geringerer Genauigkeit, wie z. B. 16-Bit- oder 8-Bit-Fließkommazahlen, können Computer-Vision-Modelle das Training beschleunigen und den Speicherbedarf reduzieren, ohne dass die Genauigkeit darunter leidet.

Während des Trainings wird eine gemischte Präzision erreicht, indem eine geringere Präzision in bestimmten Schichten verwendet wird, während eine höhere Präzision dort beibehalten wird, wo sie im gesamten Netz benötigt wird. Dies geschieht durch Casting und Verlustskalierung. Beim Casting werden Datentypen je nach Bedarf des Modells zwischen verschiedenen Genauigkeiten umgewandelt. Die Verlustskalierung passt die reduzierte Genauigkeit an, um einen numerischen Unterlauf zu verhindern und ein stabiles Training zu gewährleisten. Gemischte Genauigkeit ist besonders nützlich für große Modelle und große Losgrößen.

‍

Ausgleich zwischen Modellgenauigkeit und Effizienz

Nachdem wir uns nun mit den verschiedenen Techniken zur Modelloptimierung befasst haben, wollen wir nun erörtern, wie du dich je nach deinen spezifischen Bedürfnissen für eine Technik entscheiden kannst. Die Wahl hängt von Faktoren wie der verfügbaren Hardware, den Rechen- und Speicherbeschränkungen der Einsatzumgebung und dem erforderlichen Genauigkeitsgrad ab. 

Kleinere, schnellere Modelle sind zum Beispiel besser für mobile Geräte mit begrenzten Ressourcen geeignet, während größere, genauere Modelle auf Hochleistungssystemen eingesetzt werden können. Im Folgenden erfährst du, wie jede Technik auf die verschiedenen Ziele abgestimmt ist:

• Pruning: Es ist ideal, um die Modellgröße zu reduzieren, ohne die Genauigkeit wesentlich zu beeinträchtigen, und eignet sich daher perfekt für ressourcenbeschränkte Geräte wie Mobiltelefone oder Internet-of-Things-Geräte (IoT).
• Quantisierung: Eine großartige Option, um die Modellgröße zu verringern und die Inferenz zu beschleunigen, insbesondere auf mobilen Geräten und eingebetteten Systemen mit begrenztem Speicher und begrenzter Rechenleistung. Sie eignet sich gut für Anwendungen, bei denen leichte Einbußen bei der Genauigkeit akzeptabel sind.
• Gemischte Präzision: Diese Technik wurde für große Modelle entwickelt und reduziert die Speichernutzung und beschleunigt das Training auf Hardware wie GPUs und TPUs, die Operationen mit gemischter Genauigkeit unterstützen. Sie wird häufig bei Hochleistungsaufgaben eingesetzt, bei denen es auf Effizienz ankommt.
• Abstimmung der Hyperparameter: Das ist zwar rechenintensiv, aber für Anwendungen, die eine hohe Genauigkeit erfordern, wie medizinische Bildgebung oder autonomes Fahren, unerlässlich.

Die wichtigsten Erkenntnisse

Die Modelloptimierung ist ein wichtiger Bestandteil des maschinellen Lernens, insbesondere für den Einsatz von KI in realen Anwendungen. Techniken wie Hyperparameter-Tuning, Modellbeschneidung, Quantisierung und gemischte Präzision helfen dabei, die Leistung, Effizienz und Ressourcennutzung von Computer Vision Modellen zu verbessern. Diese Optimierungen machen Modelle schneller und weniger ressourcenintensiv, was ideal für Geräte mit begrenztem Speicher und begrenzter Rechenleistung ist. Optimierte Modelle lassen sich auch leichter skalieren und auf verschiedenen Plattformen einsetzen, so dass KI-Lösungen effektiv und anpassungsfähig für eine Vielzahl von Anwendungen sind.

Besuche das Ultralytics GitHubRepository und werde Teil unserer Community, um mehr über KI-Anwendungen in der Produktion und Landwirtschaft zu erfahren.