Receiver Operating Characteristic (ROC)-Kurve

Die Roc-Kurve verstehen

Um das Konzept einer ROC-Kurve zu verstehen, ist es wichtig, ihre beiden Achsen zu kennen:

• True Positive Rate (TPR): Auch bekannt als Recall oder Sensitivität, misst die TPR den Anteil der tatsächlich positiven Ergebnisse, die korrekt identifiziert werden. Bei einem medizinischen Test wäre dies zum Beispiel der Prozentsatz der Patienten mit einer Krankheit, die richtig diagnostiziert werden.
• Falsch-Positiv-Rate (FPR): Die FPR misst den Anteil der tatsächlich negativen Ergebnisse, die fälschlicherweise als positive Ergebnisse identifiziert werden. In demselben Beispiel eines medizinischen Tests wäre dies der Prozentsatz der gesunden Patienten, bei denen fälschlicherweise eine Krankheit diagnostiziert wird.

Ein Klassifizierungsmodell gibt in der Regel eine Wahrscheinlichkeit oder einen Konfidenzwert für jeden Fall aus. Auf diesen Wert wird dann ein Schwellenwert angewendet, um eine endgültige binäre Entscheidung zu treffen (z. B. positiv oder negativ). Die ROC-Kurve wird erstellt, indem dieser Schwellenwert systematisch von 0 bis 1 variiert und die sich ergebenden TPR- und FPR-Paare für jeden Wert aufgetragen werden. Die Visualisierung der Modellleistung kann häufig mit Tools wie TensorBoard oder über Plattformen wie Ultralytics HUB erfolgen.

Wie man eine Roc-Kurve interpretiert

Die Form und die Position der ROC-Kurve sagen viel über die Leistung eines Modells aus.

• Zufälliger Klassifikator: Eine diagonale Linie von (0,0) bis (1,1) stellt ein Modell ohne Unterscheidungskraft dar - dies entspricht einer zufälligen Schätzung.
• Guter Klassifikator: Eine Kurve, die sich in Richtung der oberen linken Ecke wölbt, weist auf einen guten Klassifikator hin. Je näher die Kurve an der linken oberen Ecke liegt, desto besser ist seine Leistung, da er eine hohe TPR bei gleichzeitig niedriger FPR erreicht.
• Perfekter Klassifikator: Ein perfekter Klassifikator hätte eine Kurve, die von (0,0) geradlinig nach oben zu (0,1) und dann quer zu (1,1) verläuft und eine TPR von 100 % mit einer FPR von 0 % erreicht.

Eine gängige von der ROC-Kurve abgeleitete Metrik ist der Bereich unter der Kurve (AUC). Die AUC gibt die Wahrscheinlichkeit an, dass der Klassifikator eine zufällig ausgewählte positive Instanz höher einstuft als eine zufällig ausgewählte negative Instanz. Ein AUC von 1,0 bedeutet ein perfektes Modell, während ein AUC von 0,5 einem Zufallsmodell entspricht. Dieser einzelne skalare Wert ist nützlich, um verschiedene Modelle zu vergleichen.

Anwendungen in der realen Welt

ROC-Kurven sind in verschiedenen Branchen weit verbreitet, um optimale Modelle für den Einsatz zu bewerten und auszuwählen.

1. Medizinische Diagnose: In der medizinischen Bildanalyse könnte ein Deep-Learning-Modell trainiert werden, um Krebs auf Mammogrammen zu erkennen. Die ROC-Kurve hilft Radiologen und Ingenieuren bei der Bewertung der Fähigkeit des Modells, zwischen bösartigen und gutartigen Tumoren zu unterscheiden. Durch die Analyse der Kurve können sie einen Klassifizierungsschwellenwert wählen, der ein Gleichgewicht zwischen der Notwendigkeit, so viele Krebsarten wie möglich zu erkennen (hohe TPR), und dem Risiko unnötiger Biopsien aufgrund von Fehlalarmen (niedrige FPR) herstellt. Dies ist ein entscheidender Schritt bei der verantwortungsvollen Entwicklung von KI und stellt sicher, dass das Modell die von Einrichtungen wie der FDA festgelegten klinischen Standards erfüllt.

2. Erkennung von Kreditkartenbetrug: Finanzinstitute verwenden ML-Modelle, um betrügerische Transaktionen in Echtzeit zu erkennen. Anhand einer ROC-Kurve lässt sich beurteilen, wie gut ein Modell betrügerische von legitimen Transaktionen unterscheidet. Eine Bank könnte die Kurve nutzen, um einen Schwellenwert auszuwählen, der die Betrugserkennung maximiert und gleichzeitig die Anzahl der fälschlicherweise abgelehnten legitimen Transaktionen minimiert, was die Kunden verärgern könnte. Dies hilft beim Aufbau robuster Systeme für KI im Finanzwesen.

Roc-Kurve im Vergleich. Andere Metriken

ROC-Kurven sind zwar sehr aussagekräftig, aber es ist wichtig zu verstehen, wie sie sich von anderen Bewertungsmetriken unterscheiden.

• Genauigkeit: Diese Metrik kann irreführend sein, insbesondere bei unausgewogenen Datensätzen, in denen eine Klasse dominiert. Ein Modell könnte eine hohe Genauigkeit erreichen, indem es einfach die Mehrheitsklasse vorhersagt. Die ROC-Kurve und der AUC bieten eine schwellenunabhängige Ansicht, die in diesen Szenarien robuster ist.

• Präzision und Rückgewinnung: Diese Metriken konzentrieren sich auf die Leistung der positiven Klasse. Die Präzision misst die Genauigkeit der positiven Vorhersagen, während der Rückruf (TPR) die Abdeckung der tatsächlich positiven Ergebnisse misst. Der F1-Score kombiniert diese beiden Werte, bleibt aber von einem bestimmten Schwellenwert abhängig. Im Gegensatz dazu bewertet die ROC-Kurve den Kompromiss zwischen TPR und FPR über alle Schwellenwerte hinweg. Für Aufgaben, bei denen die negative Klasse sehr groß und von geringem Interesse ist, kann eine Precision-Recall-Kurve informativer sein.

• mAP und IoU: ROC-Kurven sind für die binäre Klassifizierung konzipiert. Für komplexere Aufgaben wie die Erkennung von Objekten oder die Segmentierung von Instanzen, die bei Modellen wie Ultralytics YOLO üblich sind, werden andere Metriken verwendet. Mean Average Precision (mAP) und Intersection over Union (IoU) werden verwendet, um sowohl die Klassifizierungs- als auch die Lokalisierungsgenauigkeit zu bewerten. Weitere Einzelheiten finden Sie in unserem Leitfaden zu YOLO-Leistungsmetriken. Die Visualisierung dieser Metriken kann mit Frameworks wie PyTorch oder TensorFlow durchgeführt werden.