Konfidenz

Im Bereich der künstlichen Intelligenz und des maschinellen Lernens ist ein Konfidenzwert eine Metrik, die den Grad der Sicherheit quantifiziert, den ein Modell in Bezug auf eine bestimmte Vorhersage hat. Dieser Wert liegt in der Regel zwischen 0 und 1 (oder 0 % bis 100 %) und stellt die geschätzte Wahrscheinlichkeit dar, dass die Ausgabe des Algorithmus mit der Grundwahrheit übereinstimmt. Wenn beispielsweise bei einer Objekterkennungsaufgabe ein System einen Bildbereich mit einer Konfidenz von 0,92 als „Fahrrad” identifiziert, deutet dies auf eine geschätzte Wahrscheinlichkeit von 92 % hin , dass die Klassifizierung korrekt ist. Diese Werte werden aus der letzten Schicht eines neuronalen Netzwerks abgeleitet, oft verarbeitet durch eine Aktivierungsfunktion wie Softmax für die Mehrklassenkategorisierung oder die Sigmoid-Funktion für binäre Entscheidungen.

Die Rolle des Vertrauens bei der Inferenz

Vertrauenswerte sind ein grundlegender Bestandteil des Inferenz-Engine-Workflows und dienen als Filter, um hochwertige Vorhersagen von Hintergrundrauschen zu unterscheiden. Dieser als Schwellenwertbildung bezeichnete Filterprozess ermöglicht es Entwicklern, die Empfindlichkeit einer Anwendung anzupassen. Durch die Festlegung eines Mindestvertrauensschwellenwerts können Sie den kritischen Kompromiss zwischen Präzision und Recall verwalten. Ein niedrigerer Schwellenwert kann detect Objekte detect , erhöht jedoch das Risiko von Falschmeldungen, während ein höherer Schwellenwert die Genauigkeit verbessert, aber dazu führen kann, dass subtile Instanzen übersehen werden.

NMS fortschrittlichen Architekturen wie Ultralytics sind Konfidenzwerte für Nachbearbeitungstechniken wie Non-Maximum Suppression (NMS) unerlässlich. NMS nutzt diese Werte, um redundante Begrenzungsrahmen, die sich erheblich überschneiden, zu entfernen und nur die Erkennung mit der höchsten Wahrscheinlichkeit beizubehalten. Dieser Schritt stellt sicher, dass die endgültige Ausgabe sauber und für nachgelagerte Aufgaben wie Objektzählung oder -verfolgung bereit ist.

Das folgende Python zeigt, wie Vorhersagen anhand der Konfidenz mithilfe der ultralytics Paket:

from ultralytics import YOLO

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference with a confidence threshold of 0.5 (50%)
# Only detections with a score above this value are returned
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.5)

# Inspect the confidence scores of the detected objects
for box in results[0].boxes:
    print(f"Class: {box.cls}, Confidence: {box.conf.item():.2f}")

Anwendungsfälle in der Praxis

Vertrauenswerte bieten eine Ebene der Interpretierbarkeit, die in Branchen, in denen Computer Vision (CV) zum Einsatz kommt, unverzichtbar ist. Sie helfen automatisierten Systemen dabei, zu entscheiden, wann sie autonom weiterarbeiten und wann sie Warnmeldungen zur Überprüfung durch Menschen auslösen sollten.

• Autonomes Fahren: Im Bereich der KI in der Automobilindustrie verlassen sich selbstfahrende Fahrzeuge auf Vertrauensmetriken, um die Sicherheit der Passagiere zu gewährleisten. Wenn ein Wahrnehmungssystem ein Hindernis mit geringer Zuverlässigkeit erkennt, kann es diese Daten mit LiDAR-Sensoren oder Radar abgleichen , um die Anwesenheit des Objekts zu überprüfen, bevor es eine Notbremsung auslöst. Diese Redundanz hilft, „Phantombremsungen” zu vermeiden , die durch Schatten oder Blendung verursacht werden.
• Medizinische Diagnostik: Beim Einsatz von KI im Gesundheitswesen unterstützen Modelle medizinisches Fachpersonal, indem sie potenzielle Anomalien in Bildgebungsdaten kennzeichnen. Ein System zur Tumorerkennung könnte Bereiche mit hoher Zuverlässigkeit für eine sofortige Diagnose hervorheben, während Vorhersagen mit geringerer Zuverlässigkeit für eine sekundäre Analyse protokolliert werden. Dieser Human-in-the-Loop-Workflow stellt sicher, dass KI die klinische Entscheidungsfindung ergänzt, ohne das Urteil von Experten zu ersetzen.
• Industrielle Automatisierung: In der intelligenten Fertigung nutzen Roboterarme Konfidenzwerte, um mit Objekten auf Fertigungsstraßen zu interagieren. Ein mit Vision-KI ausgestatteter Roboter versucht möglicherweise nur dann, ein Bauteil zu greifen, wenn die Erkennungskonfidenz 90 % übersteigt, wodurch das Risiko einer Beschädigung empfindlicher Teile aufgrund von Fehlausrichtung verringert wird.

Vertrauen von verwandten Begriffen unterscheiden

Es ist entscheidend, Vertrauen von anderen statistischen Metriken zu unterscheiden, die bei der Modellbewertung verwendet werden.

• Konfidenz vs. Genauigkeit: Die Genauigkeit ist eine globale Metrik, die beschreibt, wie oft ein Modell über einen gesamten Datensatz hinweg korrekt ist (z. B. „Das Modell ist zu 92 % genau”). Im Gegensatz dazu ist die Konfidenz ein lokaler, vorhersagespezifischer Wert (z. B. „Das Modell ist zu 92 % sicher, dass dieses bestimmte Bild eine Katze enthält”). Ein Modell kann eine hohe Gesamtgenauigkeit aufweisen, aber dennoch eine geringe Zuverlässigkeit in Grenzfällen
• Vertrauen vs. Wahrscheinlichkeitskalibrierung: Ein roher Vertrauenswert stimmt nicht immer mit der tatsächlichen Wahrscheinlichkeit der Richtigkeit überein. Ein Modell ist „gut kalibriert”, wenn Vorhersagen mit einem Vertrauenswert von 0,8 in etwa 80 % der Fälle richtig sind. Techniken wie Platt-Skalierung oder isotonischeRegression werden häufig eingesetzt, um Werte mit empirischen Wahrscheinlichkeiten in Einklang zu bringen.
• Vertrauen vs. Präzision: Die Präzision misst den Anteil der positiven Identifizierungen, die tatsächlich korrekt waren. Eine Erhöhung der Vertrauensschwelle steigert zwar in der Regel die Präzision, geht jedoch oft zu Lasten der Wiederauffindbarkeit. Entwickler müssen diese Schwelle entsprechend anpassen, je nachdem, ob ihre Anwendung weniger fehlende Objekte oder weniger Fehlalarme priorisiert.

Verbesserung des Vertrauens in das Modell

Wenn ein Modell für gültige Objekte durchweg eine geringe Konfidenz ausgibt, deutet dies häufig auf eine Diskrepanz zwischen den Trainingsdaten und der Bereitstellungsumgebung hin. Zu den Strategien, um dies zu mildern, gehört die Datenvergrößerung, die den Datensatz künstlich erweitert, indem sie Beleuchtung, Drehung und Rauschen variiert. Darüber hinaus ermöglicht die Verwendung Ultralytics zur Implementierung von aktiven Lernpipelines den Entwicklern, Beispiele mit geringer Zuverlässigkeit leicht zu identifizieren, sie zu kommentieren und das Modell neu zu trainieren. Dieser iterative Zyklus ist entscheidend für die Schaffung robuster KI-Agenten, die in der Lage sind, in dynamischen, realen Umgebungen zuverlässig zu arbeiten.