Präzision

Die Präzision ist eine Kennzahl, die misst, wie genau ein KI-Modell "True Positives" identifiziert (Fälle, in denen das Modell ein Objekt oder einen Zustand richtig identifiziert). Bei einem Gesichtserkennungssystem zum Beispiel liegt ein "True Positive" vor, wenn das System das Gesicht einer Person, auf das es trainiert wurde , richtig erkennt und identifiziert. 

Um die Genauigkeit zu berechnen, zählst du zunächst die Anzahl der echten Positivmeldungen. Diese Zahl kannst du dann durch die Gesamtzahl der Objekte teilen, die das Modell als positiv eingestuft hat. Diese Gesamtzahl umfasst sowohl richtige Identifizierungen als auch Fehler, die als False Positives bezeichnet werden. Im Wesentlichen sagt dir die Genauigkeit, wie oft das Modell richtig liegt, wenn es behauptet, etwas erkannt zu haben.

‍

‍

ies ist besonders wichtig in Szenarien, in denen die Folgen von Fehlalarmen kostspielig oder störend sein können. In der automatisierten Fertigung zum Beispiel zeigt eine hohe Präzisionsrate an, dass das System fehlerhafte Produkte genauer erkennen und verhindern kann, dass gute Produkte unnötig aussortiert oder nachbearbeitet werden. Ein weiteres gutes Beispiel ist die Sicherheitsüberwachung. Eine hohe Genauigkeit hilft dabei, Fehlalarme zu minimieren und sich nur auf echte Bedrohungen zu konzentrieren, die eine Sicherheitsmaßnahme erfordern.

Rückruf

Der Rückruf hilft dabei, die Fähigkeit eines KI-Modells zu messen, alle relevanten Fälle oder "True Positives" in einem Datensatz zu erkennen. Einfach ausgedrückt: Sie gibt an, wie gut ein KI-System alle tatsächlichen Fälle eines Zustands oder Objekts erfassen kann, die es erkennen soll. Der Recall lässt sich berechnen, indem man die Anzahl der richtigen Erkennungen durch die Gesamtzahl der positiven Fälle teilt, die hätten erkannt werden müssen (dazu gehören sowohl die Fälle, die das Modell richtig erkannt hat, als auch die, die es nicht erkannt hat).

Nehmen wir ein KI-gestütztes medizinisches Bildgebungssystem, das zur Krebserkennung eingesetzt wird. Die Rückrufquote spiegelt in diesem Zusammenhang den Prozentsatz der tatsächlichen Krebsfälle wider, die das System korrekt identifiziert. Eine hohe Trefferquote ist in solchen Szenarien entscheidend, denn eine fehlende Krebsdiagnose kann schwerwiegende Folgen für die Patientenversorgung haben.

Präzision versus Wiedererkennung

Präzision und Recall sind wie zwei Seiten einer Medaille, wenn es darum geht, die Leistung eines KI-Modells zu bewerten, und sie erfordern oft ein Gleichgewicht. Die Herausforderung besteht darin, dass die Verbesserung einer Kennzahl oft auf Kosten der anderen geht. 

Nehmen wir an, du strebst eine höhere Präzision an. Das Modell könnte selektiver werden und nur noch positive Fälle identifizieren, bei denen es sich sehr sicher ist. Wenn du hingegen die Rückrufquote verbessern willst, kann das Modell mehr positive Fälle identifizieren, aber das kann auch mehr falsch-positive Fälle beinhalten und die Genauigkeit verringern. 

Der Schlüssel liegt darin, das richtige Gleichgewicht zwischen Precision und Recall zu finden, das auf die spezifischen Anforderungen deiner Anwendung abgestimmt ist. Ein nützliches Instrument dafür ist die Präzisions-Recall-Kurve, die das Verhältnis zwischen den beiden Kennzahlen bei verschiedenen Schwellenwerten zeigt. Wenn du diese Kurve analysierst, kannst du den optimalen Punkt bestimmen, an dem das Modell für deinen spezifischen Anwendungsfall am besten abschneidet. Das Verständnis dieses Kompromisses hilft bei der Feinabstimmung von KI-Modellen, damit sie für den jeweiligen Anwendungsfall optimal funktionieren.

‍

Mittlere durchschnittliche Genauigkeit (mAP)

Mean Average Precision (mAP) ist eine Kennzahl, mit der die Leistung von KI-Modellen für Aufgaben wie die Objekterkennung bewertet wird, bei denen das Modell mehrere Objekte in einem Bild identifizieren und klassifizieren muss. mAP gibt dir eine einzige Punktzahl, die zeigt, wie gut das Modell über alle verschiedenen Kategorien hinweg abschneidet, für die es trainiert wurde. Schauen wir uns an, wie er berechnet wird.

Die Fläche unter einer Präzisions-Rückruf-Kurve gibt die durchschnittliche Präzision (AP) für diese Klasse an. Die AP misst, wie genau das Modell Vorhersagen für eine bestimmte Klasse trifft, wobei sowohl die Präzision als auch der Abruf über verschiedene Konfidenzniveaus hinweg berücksichtigt werden (Konfidenzniveaus geben an, wie sicher das Modell in seinen Vorhersagen ist). Nachdem die AP für jede Klasse berechnet wurde, wird die mAP durch die Bildung des Durchschnitts dieser AP-Werte für alle Klassen ermittelt.

‍

mAP ist nützlich für Anwendungen wie autonomes Fahren, bei denen mehrere Objekte wie Fußgänger, Fahrzeuge und Verkehrsschilder gleichzeitig erkannt werden müssen. Eine hohe mAP-Punktzahl bedeutet, dass das Modell in allen Kategorien gleichbleibend gut abschneidet und somit in einer Vielzahl von Szenarien zuverlässig und genau ist.