Glossar

Kreuzvalidierung

Entdecken Sie die Möglichkeiten der Kreuzvalidierung beim maschinellen Lernen, um die Modellgenauigkeit zu verbessern, eine Überanpassung zu verhindern und eine robuste Leistung zu gewährleisten.

Die Kreuzvalidierung ist ein leistungsfähiges Verfahren zur Modellbewertung beim maschinellen Lernen (ML), mit dem beurteilt wird, wie sich die Ergebnisse einer statistischen Analyse auf einen unabhängigen Datensatz verallgemeinern lassen. Es handelt sich um ein Resampling-Verfahren zur Bewertung von ML-Modellen anhand einer begrenzten Datenstichprobe. Das Hauptziel besteht darin, eine Überanpassung zu verhindern, bei der ein Modell die Trainingsdaten so gut erlernt, dass es bei neuen, nicht gesehenen Daten schlecht abschneidet. Durch die Simulation der Leistung eines Modells in der realen Welt bietet die Kreuzvalidierung eine robustere und zuverlässigere Schätzung der Modellleistung.

Wie funktioniert die Kreuzvalidierung?

Die gängigste Methode der Kreuzvalidierung ist die K-Fold Kreuzvalidierung. Bei diesem Verfahren wird ein einzelner Datensatz in mehrere Teile aufgeteilt:

  1. Aufteilung der Daten: Der gesamte Trainingsdatensatz wird nach dem Zufallsprinzip in "k" gleich große Teilmengen oder "Foldings" aufgeteilt.
  2. Iteratives Training und Validierung: Das Modell wird 'k' Mal trainiert. In jeder Iteration wird eine der Faltungen als Validierungssatz beibehalten und das Modell wird mit den verbleibenden k-1 Faltungen trainiert.
  3. Bewertung der Leistung: Die Leistung des Modells wird anhand der übersprungenen Faltung bewertet. Für jede Iteration werden Schlüsselkennzahlen wie die Genauigkeit oder die mittlere durchschnittliche Präzision (mAP) aufgezeichnet.
  4. Mittelwertbildung der Ergebnisse: Nach Abschluss aller 'k' Iterationen werden die Leistungskennzahlen gemittelt, um eine einzige, stabilere Schätzung der Effektivität des Modells zu erhalten.

Dieser Ansatz stellt sicher, dass jeder Datenpunkt genau einmal in einem Validierungssatz und k-1 Mal in einem Trainingssatz enthalten ist. Eine ausführliche Anleitung zur Implementierung finden Sie in der Ultralytics K-Fold Cross-Validation Anleitung.

Kreuzvalidierung vs. einfache Validierung Split

In einem typischen ML-Projekt werden die Daten in Trainings-, Validierungs- und Testsätze unterteilt.

  • Validierungsdaten: Werden während der Trainingsphase zur Abstimmung der Hyperparameter und für Entscheidungen über die Modellarchitektur verwendet.
  • Testdaten: Werden erst nach Abschluss des Trainings und der Abstimmung verwendet, um eine endgültige, unvoreingenommene Bewertung der Generalisierungsfähigkeit des Modells zu erhalten.

Eine einfache Aufteilung in Training und Validierung kann manchmal irreführend sein, wenn der Validierungssatz zufällig Proben enthält, die besonders einfach oder schwierig sind. Die Kreuzvalidierung überwindet dieses Problem, indem sie jeden Teil des Datensatzes sowohl für das Training als auch für die Validierung verwendet und so ein zuverlässigeres Maß für die Generalisierungsfähigkeit des Modells liefert. Dies macht sie besonders nützlich, wenn die Menge der verfügbaren Daten begrenzt ist. Beliebte Frameworks wie Scikit-learn bieten robuste Implementierungen von Kreuzvalidierungstechniken.

Anwendungen in der realen Welt

Die Kreuzvalidierung ist für den Aufbau zuverlässiger KI-Systeme in verschiedenen Bereichen unerlässlich:

  1. Medizinische Bildanalyse: Bei der Entwicklung eines neuronalen Faltungsnetzwerks (Convolutional Neural Network, CNN) für die medizinische Bildanalyse, z. B. für die Erkennung von Tumoren in Gehirnscans unter Verwendung von Datensätzen wie dem Brain Tumor Dataset, wird CV verwendet, um die diagnostische Genauigkeit und die Generalisierung des Modells über verschiedene Patientendaten hinweg rigoros zu bewerten. Diese solide Bewertung ist von entscheidender Bedeutung, bevor klinische Versuche in Erwägung gezogen oder die Zulassung durch Behörden wie die FDA beantragt wird.
  2. Autonome Fahrzeuge: Bei Objekterkennungsmodellen wie Ultralytics YOLO, die in autonomen Fahrzeugen eingesetzt werden, hilft CV, eine zuverlässige Leistung bei der Erkennung von Fußgängern, Radfahrern und anderen Fahrzeugen unter verschiedenen Umgebungsbedingungen sicherzustellen. Diese Validierung an komplexen Datensätzen wie Argoverse ist entscheidend für den Einsatz des Modells in sicherheitskritischen Systemen, wie sie in KI-Lösungen für die Automobilindustrie verwendet werden.

Andere Anwendungen umfassen die Bewertung von Modellen für die Bildsegmentierung, Aufgaben der natürlichen Sprachverarbeitung (NLP) wie die Stimmungsanalyse und die Risikobewertung bei der Finanzmodellierung. Plattformen wie Ultralytics HUB können dabei helfen, die Experimente und Artefakte zu verwalten, die bei solchen Evaluierungstechniken entstehen, und so den Entwicklungszyklus zu rationalisieren.

Werden Sie Mitglied der Ultralytics-Gemeinschaft

Beteiligen Sie sich an der Zukunft der KI. Vernetzen Sie sich, arbeiten Sie zusammen und wachsen Sie mit globalen Innovatoren

Jetzt beitreten
Link in die Zwischenablage kopiert