Underfitting

Im Bereich des maschinellen Lernens ist das Erreichen einer optimalen Modellleistung ein schwieriges Unterfangen. Eine häufige Herausforderung bei der Modellschulung ist das Underfitting. Underfitting liegt vor, wenn ein maschinelles Lernmodell zu einfach ist, um die zugrunde liegenden Muster in den Trainingsdaten zu erfassen. Das bedeutet, dass das Modell die Daten nicht effektiv lernt, was zu einer schlechten Leistung sowohl bei den Trainingsdaten als auch bei den ungesehenen Daten führt. Das liegt oft daran, dass dem Modell die nötige Komplexität fehlt, um die Beziehungen in den Daten darzustellen.

Was sind die Ursachen für Underfitting?

Mehrere Faktoren können dazu beitragen, dass Modelle des maschinellen Lernens nicht richtig angepasst werden.

• Modellvereinfachung: Die Verwendung eines Modells, das für die Komplexität der Daten zu einfach ist, ist eine der Hauptursachen. Wenn du zum Beispiel versuchst, ein lineares Modell an stark nicht-lineare Daten anzupassen, wird das wahrscheinlich zu einer Unteranpassung führen. Komplexere Modelle, wie z. B. Convolutional Neural Networks (CNNs), sind oft für komplizierte Datensätze notwendig.
• Unzureichende Trainingszeit: Wenn ein Modell nicht für eine ausreichende Anzahl von Epochen trainiert wird, hat es möglicherweise nicht genügend Möglichkeiten, die zugrunde liegenden Datenmuster zu lernen. Ein angemessenes Training ermöglicht es dem Modell, seine Gewichte und Verzerrungen so anzupassen, dass sie besser zu den Daten passen.
• Mangel an relevanten Merkmalen: Wenn die dem Modell zur Verfügung gestellten Merkmale die zugrundeliegenden Datencharakteristika nicht angemessen repräsentieren, kann das Modell nicht effektiv lernen. Feature-Engineering, um informativere Merkmale zu erstellen, kann hier Abhilfe schaffen.
• Überregulierung: Während Regularisierungstechniken wie L1- oder L2-Regularisierung nützlich sind, um eine Überanpassung zu verhindern, kann eine übermäßige Regularisierung das Modell zu sehr einschränken und zu einer Unteranpassung führen.

Identifizierung von Underfitting

Eine unzureichende Anpassung wird in der Regel durch Beobachtung der Leistungskennzahlen des Modells während des Trainings und der Validierung festgestellt. Zu den wichtigsten Indikatoren gehören:

• Hoher Trainingsfehler: Das Modell weist eine hohe Fehlerquote im Trainingsdatensatz auf, was bedeutet, dass es die Trainingsdaten nicht gut lernt.
• Hoher Validierungsfehler: Auch im Validierungsdatensatz weist das Modell eine hohe Fehlerquote auf, was auf eine schlechte Generalisierung auf ungesehene Daten hindeutet.
• Schlechte Leistungsmetriken: Metriken wie Genauigkeit, Präzision, Rückruf oder mAP sind sowohl bei den Trainings- als auch bei den Validierungssätzen deutlich niedriger als gewünscht. Unter YOLO findest du weitere Informationen.

Abhilfe bei Unteranpassung

Um die Unteranpassung zu bekämpfen, können verschiedene Strategien eingesetzt werden:

• Erhöhe die Modellkomplexität: Erwäge die Verwendung einer komplexeren Modellarchitektur. Wenn zum Beispiel ein lineares Modell nicht ausreicht, kannst du ein polynomiales Modell, einen Entscheidungsbaum oder ein neuronales Netzwerk wie Ultralytics YOLOv8 für die Objekterkennung verwenden.
• Länger trainieren: Erhöhe die Anzahl der Trainingsepochen, um dem Modell mehr Zeit zum Lernen der Datenmuster zu geben. Tools wie Ultralytics HUB erleichtern das effiziente Trainieren und Überwachen von Modellen.
• Feature Engineering: Entwickle relevantere und informativere Merkmale aus den vorhandenen Daten. Das kann bedeuten, dass du neue Merkmale erstellst, bestehende Merkmale umwandelst oder eine relevantere Untergruppe von Merkmalen auswählst.
• Reduziere die Regularisierung: Wenn eine Regularisierung verwendet wird, versuche die Stärke der Regularisierung zu reduzieren, um dem Modell mehr Flexibilität bei der Anpassung an die Trainingsdaten zu geben.
• Erfasse mehr Daten: In manchen Fällen kann eine unzureichende Anpassung auf unzureichende Trainingsdaten zurückzuführen sein. Eine Vergrößerung des Trainingsdatensatzes kann dem Modell mehr Beispiele liefern, aus denen es lernen kann. Erforsche Ultralytics nach möglichen Datensätzen.

Beispiele aus der realen Welt für Underfitting

1. Einfache lineare Regression für die Bildklassifizierung: Stell dir vor, du verwendest ein einfaches lineares Regressionsmodell für die Klassifizierung komplexer Bilder, z. B. für die Klassifizierung verschiedener Hunderassen. Ein lineares Modell ist viel zu simpel, um die komplizierten visuellen Merkmale zu erfassen, die Hunderassen unterscheiden, und führt zu einer erheblichen Unteranpassung und einer schlechten Klassifizierungsgenauigkeit. Ein geeigneteres Modell wäre ein CNN, das auf einem großen Datensatz wie ImageNet trainiert wird, um effektiv Bildmerkmale zu lernen.
2. Grundmodell für die Objekterkennung in dichten Szenen: Stell dir vor, du verwendest ein sehr flaches neuronales Netz für die Objekterkennung in einer belebten Straßenszene. Ein solch einfaches Modell kann viele Objekte nicht erkennen, vor allem kleinere oder verdeckte, da es nicht in der Lage ist, komplexe räumliche Beziehungen und Kontextinformationen zu lernen. Die Verwendung einer fortschrittlicheren und tieferen Architektur wie Ultralytics YOLO11 wäre notwendig, um die Komplexität und Dichte der Objekte in solchen Szenen zu bewältigen.

Underfitting vs. Overfitting

Underfitting ist das Gegenteil von Overfitting. Während Underfitting auftritt, wenn ein Modell zu einfach ist und die Trainingsdaten nicht ausreichend lernt, ist Overfitting der Fall, wenn ein Modell zu komplex ist und die Trainingsdaten zu gut lernt, einschließlich Rauschen und irrelevanter Details. Überangepasste Modelle schneiden bei den Trainingsdaten außergewöhnlich gut ab, sind aber bei neuen, unbekannten Daten schlecht, weil sie nicht verallgemeinern können. Das Ziel beim maschinellen Lernen ist es, ein Modell zu finden, das ein Gleichgewicht zwischen Underfitting und Overfitting herstellt, um eine gute Generalisierung und Leistung zu erreichen. Techniken wie die Kreuzvalidierung und die Abstimmung der Hyperparameter sind entscheidend, um dieses Gleichgewicht zu finden.