Underfitting

Underfitting liegt vor, wenn ein maschinelles Lernmodell zu einfach ist, um die zugrunde liegende Struktur der Daten zu erfassen. Das passiert in der Regel, wenn das Modell im Verhältnis zur Komplexität der Daten, die es zu lernen versucht, zu wenige Parameter oder Merkmale hat. Infolgedessen lernt das Modell nicht ausreichend aus den Trainingsdaten und schneidet nicht nur bei den Trainingsdaten, sondern auch bei ungesehenen Daten, wie z. B. einer Validierungs- oder Testmenge, schlecht ab.

Wesentliche Merkmale von Underfitting

Underfit-Modelle zeichnen sich oft durch eine hohe Verzerrung und eine geringe Varianz aus. Die Verzerrung bezieht sich auf den Fehler, der dadurch entsteht, dass ein reales Problem, das komplex sein kann, durch ein vereinfachtes Modell approximiert wird. Ein unzureichend angepasstes Modell geht von zu vereinfachten Annahmen über die Daten aus, was zu systematischen Fehlern führt. Die Varianz hingegen bezieht sich auf die Empfindlichkeit des Modells gegenüber Schwankungen in den Trainingsdaten. Underfit-Modelle weisen eine geringe Varianz auf, weil sie zu einfach sind, um von Veränderungen in den Trainingsdaten stark beeinflusst zu werden. Diese Einfachheit bedeutet aber auch, dass sie wichtige Muster und Nuancen in den Daten nicht erfassen können.

Ursachen der Unterversorgung

Mehrere Faktoren können zu einer Unteranpassung beitragen:

• Modellkomplexität: Die Verwendung eines Modells, das für die Komplexität der Daten zu einfach ist. Zum Beispiel der Versuch, ein lineares Modell auf Daten mit einer stark nichtlinearen Beziehung anzuwenden.
• Unzureichendes Training: Das Modell wird nicht für genügend Epochen trainiert oder es wird eine zu hohe Lernrate verwendet, wodurch das Modell vorzeitig konvergiert, bevor es die zugrunde liegenden Muster lernen kann.
• Schlechtes Feature Engineering: Das Fehlen relevanter Merkmale oder die Verwendung von Merkmalen, die die zugrunde liegende Struktur der Daten nicht angemessen repräsentieren. Ein effektives Feature Engineering ist entscheidend für die Erstellung von Modellen, die gut verallgemeinert werden können.
• Überregularisierung: Die Anwendung einer zu starken Regularisierung, die die Komplexität des Modells beeinträchtigt und verhindern kann, dass das Modell wichtige Muster lernt.

Erkennen von Underfitting

Um die Leistung eines Modells zu verbessern, ist es wichtig, die Unteranpassung zu erkennen. Anzeichen für eine Unteranpassung sind u.a.:

• Hoher Trainingsfehler: Das Modell schneidet bei den Trainingsdaten schlecht ab, was bedeutet, dass es die zugrunde liegenden Muster nicht gelernt hat.
• Hoher Validierungs-/Testfehler: Eine schlechte Leistung auf Validierungs- oder Testdatensätzen, ähnlich wie beim Trainingsfehler, deutet darauf hin, dass das Modell zu einfach ist.
• Lernkurven: Wenn du die Leistung des Modells auf den Trainings- und Validierungssätzen im Laufe der Zeit aufzeichnest, kannst du eine Unteranpassung feststellen. Wenn beide Kurven bei einer hohen Fehlerrate ein Plateau bilden, ist das Modell wahrscheinlich unzureichend angepasst.

Abhilfe bei Unteranpassung

Um die Unteranpassung zu bekämpfen, kannst du die folgenden Strategien anwenden:

• Erhöhe die Modellkomplexität: Verwende ein komplexeres Modell mit mehr Parametern oder Schichten. Wechsle zum Beispiel von einem linearen Modell zu einem Polynom-Modell oder von einem flachen zu einem tiefen neuronalen Netz.
• Länger trainieren: Erhöhe die Anzahl der Trainingsepochen oder passe die Lernrate an, um dem Modell mehr Zeit zum Lernen aus den Daten zu geben.
• Verbessere das Feature Engineering: Füge weitere relevante Merkmale hinzu oder wandle bestehende Merkmale um, um die Struktur der Daten besser darzustellen. Techniken wie die Erstellung von Interaktionsterms oder polynomialen Merkmalen können dabei helfen.
• Regularisierung reduzieren: Verringere die auf das Modell angewendete Regularisierung, damit es sich besser an die Trainingsdaten anpasst.

Underfitting vs. Overfitting

Es ist wichtig, zwischen Underfitting und Overfitting zu unterscheiden. Während Underfitting auftritt, wenn ein Modell zu einfach ist, passiert Overfitting, wenn ein Modell zu komplex ist und anfängt, sich die Trainingsdaten zu merken, einschließlich Rauschen und Ausreißer. Überangepasste Modelle schneiden bei den Trainingsdaten besonders gut ab, aber bei ungesehenen Daten schlecht. Das Gleichgewicht zwischen Modellkomplexität und Training ist entscheidend, um sowohl Underfitting als auch Overfitting zu vermeiden.

Beispiele aus der realen Welt

Beispiel 1: Vorhersage von Hauspreisen

Stell dir vor, du erstellst ein Modell zur Vorhersage von Hauspreisen auf der Grundlage ihrer Größe. Wenn du ein einfaches lineares Regressionsmodell verwendest und annimmst, dass die Hauspreise linear mit der Größe steigen, könnte es sein, dass du die Daten unterschätzt. In Wirklichkeit ist die Beziehung zwischen Hausgröße und Preis wahrscheinlich komplexer und beinhaltet Faktoren wie abnehmende Erträge für größere Häuser oder höhere Preise für bestimmte Größenklassen. Ein lineares Modell würde diese Nuancen nicht erfassen, was zu einer schlechten Vorhersageleistung sowohl bei den Trainingsdaten als auch bei den neuen Daten führen würde.

Beispiel 2: Bildklassifizierung

Stell dir eine Bildklassifizierungsaufgabe vor, bei der du versuchst, Bilder von Tieren in verschiedene Kategorien zu klassifizieren. Wenn du ein sehr einfaches Modell wie die logistische Regression verwendest, könnte es sein, dass du die Daten nicht richtig einordnest. Bei der Bildklassifizierung müssen oft komplexe Muster und Merkmale in den Bildern erfasst werden, was ein einfaches Modell nicht leisten kann. Infolgedessen würde das Modell sowohl bei der Trainingsmenge als auch bei neuen, ungesehenen Bildern schlecht abschneiden. Die Verwendung eines komplexeren Modells, wie z. B. eines Faltungsneuronalen Netzwerks (CNN), kann die Leistung erheblich verbessern.

Wenn du die Ursachen und Anzeichen für eine unzureichende Anpassung verstehst, kannst du geeignete Maßnahmen ergreifen, um deine Modelle zu verbessern. Tools wie Ultralytics YOLOv8 bieten fortschrittliche Funktionen für die Erstellung und Optimierung komplexer Modelle, die helfen, Underfitting zu vermeiden und die Leistung bei verschiedenen Computer-Vision-Aufgaben zu verbessern. Weitere Einblicke in das Training und die Optimierung von Modellen findest du im Ultralytics Blog.