Genauigkeit

Anwendungen in der realen Welt

Die Genauigkeit ist ein wichtiger Leistungsindikator in vielen Bereichen, in denen die Klassifizierung entscheidend ist. Hier sind zwei Beispiele:

• Medizinische Diagnose: In der KI-gestützten Gesundheitsfürsorge könnte ein Modell, das für die medizinische Bildanalyse entwickelt wurde, so trainiert werden, dass es Röntgenbilder als Anzeichen einer Lungenentzündung klassifiziert oder nicht. Hohe Genauigkeit bedeutet, dass das Modell in einem hohen Prozentsatz der Fälle das Vorhandensein oder Nichtvorhandensein der Krankheit korrekt erkennt und Radiologen zuverlässig unterstützt.
• Qualitätskontrolle in der Fertigung: In der intelligenten Fertigung kann ein Computer-Vision-System eingesetzt werden, um Produkte auf einem Fließband zu prüfen. Das Modell klassifiziert jeden Artikel als "fehlerhaft" oder "nicht fehlerhaft". Die hohe Genauigkeit stellt sicher, dass fehlerhafte Produkte korrekt identifiziert und aussortiert werden, während die fehlerhafte Kennzeichnung von guten Produkten minimiert wird, was sich direkt auf die Produktionseffizienz und -qualität auswirkt.

Beschränkungen der Genauigkeit

Trotz ihrer Nützlichkeit kann die Genauigkeit sehr irreführend sein, insbesondere wenn es sich um unausgewogene Datensätze handelt. Ein unausgewogener Datensatz ist ein Datensatz, bei dem die Anzahl der Beispiele in den verschiedenen Klassen erheblich variiert. Bei der Erkennung von Betrug sind beispielsweise die legitimen Transaktionen weitaus zahlreicher als die betrügerischen. Ein Modell, das immer "nicht betrügerisch" vorhersagt, könnte eine Genauigkeit von über 99 % erreichen, wäre aber für den beabsichtigten Zweck völlig unbrauchbar. Das liegt daran, dass es die seltenen, aber kritischen Fälle nicht erkennt. Dieses Szenario verdeutlicht das Genauigkeitsparadoxon, bei dem ein hoher Genauigkeitswert ein falsches Bild von der Effektivität eines Modells vermittelt.

Genauigkeit vs. andere Metriken

Um sich ein vollständiges Bild von der Leistung eines Modells zu machen, müssen neben der Genauigkeit auch andere Messgrößen berücksichtigt werden.

• Präzision: Misst den Anteil der positiven Vorhersagen, die tatsächlich richtig waren. Sie beantwortet die Frage: "Wie viele von allen Vorhersagen, die ich für die positive Klasse gemacht habe, waren richtig?" Eine hohe Präzision ist von entscheidender Bedeutung, wenn die Kosten für eine falsch positive Vorhersage hoch sind.
• Rückruf: Diese auch als Sensitivität bezeichnete Metrik misst den Anteil der tatsächlich positiven Fälle, die korrekt identifiziert wurden. Sie beantwortet die Frage: "Wie viele der tatsächlich positiven Fälle hat mein Modell gefunden?" Eine hohe Rückrufquote ist entscheidend, wenn die Kosten eines falsch-negativen Ergebnisses hoch sind, wie z. B. beim medizinischen Screening.
• F1-Score: Dies ist das harmonische Mittel aus Precision und Recall, das einen einzigen Wert liefert, der beide ausgleicht. Er ist besonders nützlich für die Bewertung von Modellen auf unausgewogenen Datensätzen, bei denen sowohl falsch-positive als auch falsch-negative Ergebnisse wichtig sind.
• Matrix der Verwirrung: Eine Tabelle, die die Leistung eines Klassifizierungsmodells veranschaulicht, indem sie die Anzahl der wahr-positiven, wahr-negativen, falsch-positiven und falsch-negativen Ergebnisse anzeigt. Sie liefert die Daten, die zur Berechnung von Genauigkeit, Präzision und Recall benötigt werden.
• Mittlere durchschnittliche Präzision (mAP): Für komplexere Aufgaben wie die Objekterkennung ist die mAP die Standardmetrik. Sie bewertet nicht nur die Korrektheit der Klassifizierung, sondern auch die Lokalisierungsgenauigkeit der vorhergesagten Bounding Boxes über verschiedene Vertrauensstufen hinweg. Um ein tieferes Verständnis zu erlangen, können Sie verschiedene Modellvergleiche durchführen.

Verbesserung der Modellgenauigkeit

Verschiedene Techniken können dazu beitragen, die Modellgenauigkeit zu verbessern, auch wenn dies oft mit Kompromissen bei anderen Metriken oder Rechenkosten verbunden ist:

• Datenerweiterung: Künstliche Vergrößerung der Vielfalt der Trainingsdaten, ohne neue Proben zu sammeln. Beispiele finden Sie im YOLO Leitfaden zur Datenerweiterung.
• Hyperparameter-Abstimmung: Optimierung von Parametern wie Lernrate oder Stapelgröße, die vor Beginn des Trainings festgelegt werden. Leitfäden wie der Hyperparameter-Tuning-Leitfaden können dabei helfen.
• Auswahl von fortgeschrittenen Architekturen: Auswahl von leistungsfähigeren Modellen wie den neueren Ultralytics YOLO-Modellen oder Transformers.
• Lernen übertragen: Verwendung von Modellen, die auf großen Datensätzen wie ImageNet vortrainiert wurden, und deren Feinabstimmung für eine bestimmte Aufgabe.
• Ensemble-Methoden: Kombination von Vorhersagen aus mehreren Modellen zur Verbesserung der Gesamtleistung.

Beratungsressourcen wie Model Training Tips können praktische Anleitungen liefern. Plattformen wie Ultralytics HUB ermöglichen es den Nutzern, Modelle zu trainieren und die Genauigkeit zusammen mit anderen wichtigen Metriken leicht zu verfolgen, die oft mit Tools wie TensorBoard visualisiert werden. Um den Fortschritt in diesem Bereich zu verfolgen, können Sie Ressourcen wie den Stanford AI Index Report nutzen oder die Datensätze auf Papers With Code durchsuchen. Frameworks wie PyTorch und TensorFlow werden häufig für die Erstellung und das Training dieser Modelle verwendet.

Zusammenfassend lässt sich sagen, dass die Genauigkeit zwar ein wertvoller und intuitiver Maßstab für die Bewertung der Leistung von KI-Modellen ist, aber nur selten isoliert verwendet werden sollte. Die Berücksichtigung der spezifischen Ziele der ML-Aufgabe und der Beschaffenheit der Daten, insbesondere potenzieller Ungleichgewichte oder unterschiedlicher Fehlerkosten, ist für die Auswahl der am besten geeigneten Bewertungsmetriken unerlässlich. Die Verwendung von Techniken der erklärbaren KI (Explainable AI, XAI) kann auch tiefere Einblicke als nur einzelne Metrikwerte liefern.