Matrice de confusion

Une matrice de confusion est un outil de mesure des performances pour les problèmes de classification dans le domaine de l'apprentissage automatique, où le résultat peut correspondre à deux classes ou plus. Il s'agit d'un tableau présentant quatre combinaisons différentes de valeurs prédites et réelles, qui sert d' élément fondamental pour la visualisation des données dans l' évaluation des modèles. Contrairement à la simple précision, qui peut être trompeuse si l'ensemble de données est déséquilibré, une matrice de confusion fournit une analyse détaillée des erreurs commises par un modèle de vision par ordinateur (CV). En comparant les prédictions aux étiquettes de vérité terrain, les développeurs peuvent déterminer si le système confond deux classes spécifiques ou s'il ne detect pas du tout detect objet.

Principaux éléments de la matrice

La matrice elle-même est généralement divisée en quatre quadrants pour la classification binaire, mais elle s'étend pour les problèmes multi-classes tels que ceux traités par Ultralytics . Ces quatre composants représentent l' intersection entre ce que le modèle a prédit et ce qui existe réellement dans l'image.

• Vrais positifs (TP): le modèle prédit correctement la classe positive. Par exemple, dans une tâche de détection d'objets, le modèle réussit à dessiner un cadre autour d'une personne qui se trouve réellement dans le champ.
• Vrais négatifs (TN): le modèle prédit correctement la classe négative. Ceci est crucial dans des scénarios tels que la détection d'anomalies, où le système identifie correctement qu'une pièce fabriquée ne présente aucun défaut.
• Faux positifs (FP): le modèle prédit de manière incorrecte la classe positive. Souvent appelé « erreur de type I », ce phénomène se produit lorsque le système détecte un objet qui n'est pas présent, comme une caméra de sécurité signalant une ombre comme un intrus.
• Faux négatifs (FN): le modèle prédit de manière incorrecte la classe négative. Connue sous le nom d'« erreur de type II », cela se produit lorsque le modèle ne parvient pas à detect objet présent, « manquant » essentiellement la cible.

Mesures dérivées et signification

Les chiffres bruts d'une matrice de confusion sont utilisés pour calculer des mesures plus avancées qui décrivent les performances du modèle. La compréhension de ces dérivés est essentielle pour optimiser les réseaux neuronaux.

• Précision: calculée comme TP / (TP + FP), cette mesure révèle le degré d'exactitude des prédictions positives. Une précision élevée signifie moins de fausses alertes.
• Rappel (sensibilité): calculé comme TP / (TP + FN), il mesure la capacité du modèle à trouver tous les cas positifs. Un rappel élevé est essentiel lorsque la perte d' un objet a des conséquences graves.
• Score F1: moyenne harmonique de la précision et du rappel. Il fournit un score unique qui équilibre le compromis entre les deux, utile pour comparer différents modèles YOLO26.

Applications concrètes

Le coût spécifique des erreurs défini par la matrice de confusion détermine la manière dont les modèles sont ajustés pour différents secteurs.

Dans le domaine de l' IA dans le domaine de la santé, la matrice de confusion est une question de sécurité. Lors de la formation d'un modèle d' analyse d'images médicales pour detect , un faux négatif (ne pas détecter une tumeur) est bien pire qu'un faux positif (signaler une tache bénigne pour examen par un médecin). Par conséquent, les ingénieurs privilégient le rappel plutôt que la précision dans ces matrices afin de s'assurer qu'aucun risque potentiel pour la santé n'est négligé.

À l'inverse, dans le domaine de la contrôle qualité de la fabrication, l'efficacité est essentielle. Si un système classant les pièces d'une chaîne de montage génère trop de faux positifs (signalant des pièces en bon état comme défectueuses), cela entraîne un gaspillage inutile et ralentit la production. Ici, la matrice de confusion aide les ingénieurs à ajuster le modèle afin de maximiser la précision, garantissant ainsi que ce qui est rejeté est réellement défectueux, ce qui rationalise les flux de travail automatisés d'apprentissage automatique .

Génération d'une matrice de confusion avec YOLO26

Lorsqu'on utilise des frameworks modernes, la génération de cette matrice fait souvent partie du pipeline de validation standard. L'exemple ci-dessous montre comment valider un Modèle YOLO26 et accédez aux données de la matrice de confusion à l'aide de la fonction ultralytics l'emballage.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Différencier des concepts connexes

Il est important de distinguer la matrice de confusion d'autres termes d'évaluation similaires.

• Vs. Précision: La précision est simplement le rapport entre les prédictions correctes et le nombre total de prédictions. Bien qu'utile, la précision peut être très trompeuse dans les ensembles de données déséquilibrés. Par exemple, si 95 % des e-mails ne sont pas des spams, un modèle qui prédit « pas de spam » pour chaque e-mail a une précision de 95 %, mais est inutile. La matrice de confusion révèle cette faille en affichant zéro vrai positif pour la classe spam.
• Vs. Courbe ROC: La matrice de confusion fournit un aperçu des performances à un seuil de confiance spécifique . En revanche, la courbe ROC (Receiver Operating Characteristic) permet de visualiser l'évolution du taux de vrais positifs et du taux de faux positifs lorsque ce seuil varie. Des outils tels que la Ultralytics permettent aux utilisateurs d'explorer ces deux visualisations afin de choisir le point de fonctionnement optimal pour leur déploiement.