Exactitude

Comprendre la précision

La précision est calculée en divisant le nombre de prédictions correctes (à la fois les vrais positifs et les vrais négatifs) par le nombre total de prédictions effectuées. Bien qu'intuitive, la précision seule peut parfois être trompeuse, en particulier lorsqu'il s'agit d'ensembles de données déséquilibrés, c'est-à-dire de situations où une classe est nettement plus nombreuse que les autres. Par exemple, si un ensemble de données contient 95 % de courriels non spam et 5 % de courriels spam, un modèle qui prédit simplement "pas de spam" pour chaque courriel atteindra une précision de 95 %, bien qu'il soit inutile pour identifier le spam réel. Il est donc essentiel de prendre en compte la précision en même temps que d'autres mesures d'évaluation pour obtenir une image complète des performances du modèle. Tu peux obtenir plus d'informations sur l'évaluation des modèles et les stratégies d'ajustement.

Précision par rapport à d'autres paramètres

Il est important de distinguer l'exactitude des mesures connexes :

• Précision: Mesure la proportion d'identifications positives qui étaient réellement correctes. Elle répond à : "Sur l'ensemble des éléments prédits comme positifs, combien l'ont vraiment été ?". Une grande précision est cruciale lorsque le coût d'un faux positif est élevé.
• Rappel (sensibilité) : Mesure la proportion de positifs réels qui ont été correctement identifiés. Il répond à : "Sur l'ensemble des vrais positifs, combien le modèle a-t-il correctement identifié ?". Un rappel élevé est vital lorsque le fait de manquer un cas positif (faux négatif) est coûteux.
• Score F1: La moyenne harmonique de la précision et du rappel, fournissant un score unique qui équilibre les deux mesures. Il est particulièrement utile lorsqu'il s'agit de classes déséquilibrées.
• Précision moyenne (mAP) : Une mesure courante dans les tâches de détection d'objets, comme celles effectuées par Ultralytics YOLO qui tient compte à la fois de l'exactitude de la classification et de la précision de la localisation(Intersection over Union - IoU). La simple précision ne convient pas ici car elle ne tient pas compte du placement de la boîte englobante.

Ces métriques sont souvent dérivées d'une matrice de confusion, qui fournit une répartition détaillée des classifications correctes et incorrectes pour chaque classe. Il est essentiel de comprendre ces mesures de performanceYOLO .

Applications et exemples concrets

La précision sert de mesure de référence dans de nombreuses applications :

1. Filtrage des courriels indésirables : Lors de la classification des courriels en tant que "spam" ou "non spam", la précision indique le pourcentage global de courriels correctement catégorisés. Cependant, en raison du faible pourcentage de spams(problème de déséquilibre de l'ensemble des données), il peut être trompeur de se fier uniquement à la précision. Des mesures telles que la précision et le rappel sont souvent plus utiles pour s'assurer que les spams sont pris en compte sans que des courriels légitimes soient signalés de manière incorrecte.
2. Analyse d'images médicales: Considérons un modèle d'IA dans le domaine de la santé conçu pour classer les scanners médicaux comme montrant une tumeur ("positive") ou non ("négative"). Bien que la précision globale soit importante, le rappel devient critique. Manquer une tumeur (un faux négatif) peut avoir de graves conséquences, il est donc primordial de s'assurer que le modèle identifie autant de cas réels de tumeurs que possible, même si cela signifie une précision plus faible (plus de faux positifs qui nécessitent un examen plus approfondi). Des plateformes comme Ultralytics HUB peuvent aider à gérer le processus de formation et d'évaluation de ces modèles.

Précision dans le domaine de l Ultralytics

Au sein de l'écosystème Ultralytics , la précision est l'une des nombreuses mesures utilisées pour évaluer les performances des modèles, en particulier pour les tâches de classification d'images. Lorsque l'on compare des modèles, tels que YOLO11 par rapport à YOLOv8, les repères de précision sur des ensembles de données standard comme ImageNet fournissent des points de comparaison précieux, au même titre que la vitesse d'inférence et le coût de calcul. Cependant, pour les tâches de détection et de segmentation, les mesures telles que mAP sont prioritaires car elles reflètent mieux les défis spécifiques de ces tâches.