Validierungsdaten

Rolle bei der Modellentwicklung

Während der Trainingsphase lernt ein ML-Modell Muster aus den Trainingsdaten. Die Bewertung des Modells mit denselben Daten, aus denen es gelernt hat, kann jedoch irreführend sein und führt oft zu zu optimistischen Leistungseinschätzungen aufgrund von Überanpassung - wenn das Modell die Trainingsdaten zu gut lernt, einschließlich ihres Rauschens und ihrer spezifischen Eigenheiten, was seine Fähigkeit zur Verallgemeinerung auf neue Daten behindert. Die Validierungsdaten stehen stellvertretend für die Daten, die beim Training nicht berücksichtigt wurden. Indem du die Leistung des Modells auf dem Validierungsset in regelmäßigen Abständen (z. B. nach jeder Epoche) bewertest, können Entwickler/innen:

1. Hyperparameter abstimmen: Passe Einstellungen wie die Lernrate, die Stapelgröße oder die Komplexität des Modells (z. B. die Anzahl der Schichten in einem neuronalen Netz) an. Erforsche Techniken wie den Hyperparameter-Tuning-Leitfaden.
2. Modelle auswählen: Vergleiche verschiedene Algorithmen oder Architekturen, um herauszufinden, welches Modell in der Validierungsmenge am besten abschneidet.
3. Verhindere Überanpassung: Implementiere ein frühzeitiges Stoppen, bei dem das Training angehalten wird, wenn die Leistung in der Validierungsmenge abnimmt, auch wenn die Leistung in der Trainingsmenge noch steigt. Lies mehr über Tipps für die Modellschulung.

Validierungsdaten vs. Trainings- und Testdaten

Es ist wichtig, den Unterschied zwischen Trainings-, Validierungs- und Testdatensätzen zu verstehen:

• Trainingsdaten: Der größte Teil des Datensatzes, der direkt vom Algorithmus verwendet wird, um Muster zu lernen und seine internen Parameter(Modellgewichte) anzupassen.
• Validierungsdaten: Ein mittelgroßer Teil, der während des Trainings iterativ verwendet wird, um die Hyperparameter zu optimieren und Entscheidungen zur Modellauswahl zu treffen. Sie geben Rückmeldung darüber, wie gut das Modell auf der Grundlage des aktuellen Trainingszustands verallgemeinert.
• Testdaten: Ein kleinerer, völlig separater Teil, der bis zum Ende des Entwicklungsprozesses zurückgehalten wird. Er liefert die endgültige, unvoreingenommene Bewertung der Leistung des gewählten Modells auf wirklich ungesehenen Daten. Entscheidend ist, dass der Testdatensatz keinen Einfluss auf die Trainings- oder Optimierungsentscheidungen hat, um eine zuverlässige Bewertung der erwarteten Leistung des Modells in der Realität zu gewährleisten.

Wichtigkeit und Nutzen

Um robuste und zuverlässige ML-Modelle zu erstellen, ist die Verwendung eines speziellen Validierungssatzes unerlässlich. Die wichtigsten Vorteile sind:

• Verbesserte Generalisierung: Damit wird sichergestellt, dass das Modell nicht nur auf den Daten, auf denen es trainiert wurde, gut funktioniert, sondern auch auf neuen, ungesehenen Daten.
• Objektiver Modellvergleich: Bietet eine faire Grundlage für den Vergleich verschiedener Modelle oder Hyperparametereinstellungen.
• Verhinderung von Overfitting: Dient als Frühwarnsystem, um zu erkennen, wenn ein Modell beginnt, sich die Trainingsdaten einzuprägen, anstatt allgemeine Muster zu lernen. Ein detaillierter Leitfaden zur Modellbewertung und Feinabstimmung liefert weitere Informationen.

Beispiele aus der realen Welt

1. Objekterkennung mit Ultralytics YOLO: Beim Training einer Ultralytics YOLO Modells zur Erkennung von Objekten wie Autos und Fußgängern für eine autonome Fahranwendung bestehen die Trainingsdaten aus Tausenden von beschrifteten Bildern. Der Validierungssatz, der verschiedene Bilder mit ähnlichen Objekten enthält, wird nach jeder Trainingsepoche verwendet, um Kennzahlen wie die mittlere durchschnittliche Genauigkeit (mAP) zu berechnen. Anhand dieser Validierungs-MAP werden die Hyperparameter (z. B. Lernrate, Intensität der Datenerweiterung) mit Hilfe von Tools wie Ultralytics HUB angepasst, um die Konfiguration zu finden, die vor dem abschließenden Test die beste Leistung in der Validierungsmenge erbringt.
2. Medizinische Bildanalyse: Angenommen, du entwickelst ein Convolutional Neural Network (CNN) zur Klassifizierung von Tumoren in Hirnscans mit einem Datensatz wie dem Brain Tumor Dataset. Der Validierungsdatensatz wird verwendet, um verschiedene CNN-Architekturen zu vergleichen (z. B. ResNet vs. VGG) oder Parameter wie die Dropout-Rate zu optimieren. Durch die Optimierung auf der Grundlage der Validierungsgenauigkeit oder des F1-Scores können die Forscher/innen das vielversprechendste Modell auswählen, ohne die Integrität der endgültigen Auswertung der Testmenge zu gefährden, was für klinische Anwendungen, die von Behörden wie der FDA reguliert werden, entscheidend ist.

Techniken, die Validierungsdaten einbeziehen

Manchmal, vor allem bei begrenzten Daten, kann ein einzelner Validierungssplit nicht repräsentativ sein. Techniken wie die Kreuzvalidierung schaffen hier Abhilfe. Bei der K-Fold-Kreuzvalidierung werden die Trainingsdaten in "k" Teilmengen (Folds) unterteilt. Das Modell wird k-mal trainiert, wobei jedes Mal ein anderer Fold als Validierungsset und die restlichen k-1 Folds für das Training verwendet werden. Die durchschnittliche Leistung über die "k" Validierungsfalten hinweg gibt eine robustere Einschätzung der Generalisierungsfähigkeit des Modells. Du kannst Implementierungen in Bibliotheken wie Scikit-learn finden.

Validierungsdaten sind unverzichtbar für die Entwicklung effektiver Computer Vision- und anderer ML-Modelle. Sie stellen sicher, dass sie gut abgestimmt und in der Lage sind, auf neue Herausforderungen jenseits des Trainingsdatensatzes zu generalisieren.