Glossar

Mittlere durchschnittliche Präzision (mAP)

Entdecken Sie die Bedeutung der mittleren durchschnittlichen Genauigkeit (Mean Average Precision, mAP) bei der Bewertung von Objekterkennungsmodellen für KI-Anwendungen wie selbstfahrende Autos und das Gesundheitswesen.

Die mittlere durchschnittliche Genauigkeit (Mean Average Precision, mAP) ist ein wichtiger Bewertungsmaßstab, der in der Computer Vision häufig verwendet wird, insbesondere bei Aufgaben der Objekterkennung. Sie liefert einen einzigen, umfassenden Wert, der die Leistung eines Modells zusammenfasst, indem er die Genauigkeit seiner Vorhersagen für alle Objektkategorien misst. Die mAP-Punktzahl berücksichtigt sowohl die Korrektheit der Klassifizierung (entspricht das Objekt den Angaben des Modells?) als auch die Qualität der Lokalisierung (wie gut stimmt die vorhergesagte Bounding Box mit der tatsächlichen Position des Objekts überein?) Da es eine ausgewogene Bewertung bietet, ist mAP zur Standardmetrik für den Vergleich der Leistung verschiedener Objekterkennungsmodelle wie Ultralytics YOLO geworden.

Wie mAP funktioniert

Um mAP zu verstehen, ist es hilfreich, zunächst seine Kernkomponenten zu begreifen: Precision, Recall und Intersection over Union (IoU).

  • Genauigkeit: Misst, wie genau die Vorhersagen des Modells sind. Sie beantwortet die Frage: "Welcher Anteil aller Objekte, die das Modell erkannt hat, war richtig?"
  • Wiedererkennung: Misst, wie gut das Modell alle tatsächlichen Objekte findet. Sie beantwortet die Frage: "Welchen Anteil aller im Bild vorhandenen echten Objekte hat das Modell erfolgreich erkannt?"
  • Schnittmenge über Vereinigung (IoU): Eine Metrik, die angibt, wie stark sich ein vorhergesagter Begrenzungskasten mit einem echten (manuell beschrifteten) Begrenzungskasten überschneidet. Eine Erkennung gilt in der Regel als echt positiv, wenn der IoU-Wert über einem bestimmten Schwellenwert liegt (z. B. 0,5).

Die mAP-Berechnung fasst diese Konzepte zusammen. Für jede Objektklasse wird eine Präzisions-Rückruf-Kurve erstellt, indem die Präzision gegen den Rückruf bei verschiedenen Konfidenzschwellenwerten aufgetragen wird. Die durchschnittliche Präzision (AP) für diese Klasse ist die Fläche unter dieser Kurve und stellt eine einzige Zahl dar, die die Leistung des Modells für diese spezifische Klasse repräsentiert. Schließlich wird die mAP berechnet, indem der Mittelwert der AP-Werte über alle Objektklassen hinweg genommen wird. Einige Bewertungsschemata, wie das für den beliebten COCO-Datensatz, gehen noch einen Schritt weiter, indem sie die mAP über mehrere IoU-Schwellenwerte hinweg mitteln, um eine noch robustere Bewertung zu erhalten.

Unterscheidung zwischen mAP und anderen Metriken

Obwohl mAP mit anderen Bewertungsmaßstäben verwandt ist, verfolgt es einen anderen Zweck.

  • Genauigkeit: Die Genauigkeit misst das Verhältnis zwischen den richtigen Vorhersagen und der Gesamtzahl der Vorhersagen. Sie wird im Allgemeinen für Klassifizierungsaufgaben verwendet und eignet sich nicht für die Objekterkennung, bei der eine Vorhersage sowohl korrekt klassifiziert als auch lokalisiert werden muss.
  • F1-Score: Der F1-Score ist das harmonische Mittel aus Precision und Recall. Er ist zwar nützlich, wird aber in der Regel für eine einzige Vertrauensschwelle berechnet. Im Gegensatz dazu bietet mAP eine umfassendere Bewertung, indem die Leistung über alle Schwellenwerte hinweg gemittelt wird.
  • Zuversicht: Hierbei handelt es sich nicht um einen Bewertungsmaßstab für das Modell als Ganzes, sondern um eine Punktzahl, die jeder einzelnen Vorhersage zugewiesen wird und angibt, wie sicher das Modell bei dieser einen Erkennung ist. Die mAP-Berechnung verwendet diese Konfidenzwerte, um die Precision-Recall-Kurve zu erstellen.

Tools und Benchmarks

Standardisierte Benchmark-Datensätze sind für den Fortschritt im Bereich der Objekterkennung von entscheidender Bedeutung. Datensätze wie PASCAL VOC und COCO verwenden mAP als primäre Metrik für die Einstufung der Beiträge in öffentlichen Bestenlisten. Dies ermöglicht Forschern und Praktikern einen objektiven Vergleich verschiedener Modelle wie YOLOv8 und YOLO11.

Plattformen wie Ultralytics HUB nutzen mAP, um den Nutzern zu helfen, die Leistung während der Modellschulung und -validierung zu verfolgen. Die zugrundeliegenden Deep-Learning-Frameworks, die diese Modelle antreiben, wie PyTorch und TensorFlow, bieten die notwendigen Tools für die Erstellung und das Training von Modellen, die schließlich mit mAP bewertet werden.

Anwendungen in der realen Welt

Die mAP-Metrik ist von grundlegender Bedeutung für die Entwicklung zuverlässiger KI-Systeme.

  1. Autonome Fahrzeuge: In der KI für selbstfahrende Autos muss ein Wahrnehmungsmodell verschiedene Objekte wie Autos, Fußgänger, Radfahrer und Verkehrsschilder genau erkennen. Ein hoher mAP-Score auf einem anspruchsvollen Datensatz wie Argoverse zeigt, dass das Modell in allen kritischen Klassen robust und zuverlässig ist, was für die Gewährleistung der Sicherheit unerlässlich ist. Führende Unternehmen in diesem Bereich, wie z. B. Waymo, verlassen sich in hohem Maße auf strenge Bewertungen anhand von Metriken wie mAP.
  2. Medizinische Bildanalyse: Beim Training eines Modells zur Erkennung von Anomalien wie Tumoren oder Läsionen auf Scans mit einem Datensatz wie dem Hirntumor-Datensatz wird mAP verwendet, um die allgemeine diagnostische Genauigkeit zu bewerten. Ein hoher mAP-Wert stellt sicher, dass das Modell nicht nur die häufigsten Anomalien erkennt, sondern auch seltenere, aber ebenso wichtige Erkrankungen effektiv identifiziert. Diese umfassende Bewertung ist ein wichtiger Schritt, bevor ein Modell für den Einsatz im Gesundheitswesen in Betracht gezogen werden kann.

Werden Sie Mitglied der Ultralytics-Gemeinschaft

Beteiligen Sie sich an der Zukunft der KI. Vernetzen Sie sich, arbeiten Sie zusammen und wachsen Sie mit globalen Innovatoren

Jetzt beitreten
Link in die Zwischenablage kopiert