Précision moyenne (mAP)

Comment fonctionne le mAP

Pour comprendre mAP, il est utile d'en saisir d'abord les principaux éléments : Précision, Rappel et Intersection sur Union (IoU).

• Précision: mesure le degré d'exactitude des prédictions du modèle. Elle répond à la question suivante : "Sur l'ensemble des objets détectés par le modèle, quelle est la fraction correcte ? "Parmi tous les objets détectés par le modèle, quelle est la proportion de ceux qui sont corrects ?"
• Rappel: Mesure la capacité du modèle à trouver tous les objets réels. Il répond à la question suivante : "Parmi tous les objets réels présents dans l'image, quelle fraction le modèle a-t-il détectée avec succès ?"
• Intersection sur Union (IoU) : Une mesure qui quantifie le degré de chevauchement entre une boîte de délimitation prédite et une boîte de délimitation de vérité (étiquetée manuellement). Une détection est généralement considérée comme un vrai positif si l'intersection sur l'union est supérieure à un certain seuil (par exemple, 0,5).

Le calcul mAP synthétise ces concepts. Pour chaque classe d'objets, une courbe de précision-rappel est générée en traçant la précision en fonction du rappel à différents seuils de score de confiance. La précision moyenne (AP) pour cette classe est l'aire sous cette courbe, ce qui donne un chiffre unique représentant les performances du modèle pour cette classe spécifique. Enfin, la mAP est calculée en prenant la moyenne des scores AP pour toutes les classes d'objets. Certains schémas d'évaluation, comme celui du populaire ensemble de données COCO, vont encore plus loin en calculant la moyenne du mAP pour plusieurs seuils de l'IoU afin de fournir une évaluation encore plus robuste.

Distinguer la mAP des autres mesures

Bien qu'il soit lié à d'autres mesures d'évaluation, le mAP a un objectif distinct.

• Précision: La précision mesure le rapport entre les prédictions correctes et le nombre total de prédictions. Elle est généralement utilisée pour les tâches de classification et n'est pas adaptée à la détection d'objets, où une prédiction doit être à la fois correctement classée et localisée.
• Score F1: Le score F1 est la moyenne harmonique de la précision et du rappel. Bien qu'utile, il est généralement calculé pour un seul seuil de confiance. En revanche, mAP fournit une évaluation plus complète en calculant la moyenne des performances pour tous les seuils.
• Confiance: Il ne s'agit pas d'une mesure d'évaluation du modèle dans son ensemble, mais d'une note attribuée à chaque prédiction individuelle, indiquant le degré de certitude du modèle quant à cette détection. Le calcul mAP utilise ces scores de confiance pour créer la courbe de précision-rappel.

Outils et critères de référence

Les ensembles de données de référence normalisés sont essentiels pour faire progresser le domaine de la détection d'objets. Des ensembles de données tels que PASCAL VOC et COCO utilisent mAP comme mesure principale pour classer les soumissions sur des tableaux de classement publics. Cela permet aux chercheurs et aux praticiens de comparer objectivement différents modèles, tels que YOLOv8 et YOLO11.

Des plateformes comme Ultralytics HUB mettent en avant mAP pour aider les utilisateurs à suivre les performances pendant l'entraînement et la validation des modèles. Les cadres d'apprentissage profond sous-jacents qui alimentent ces modèles, tels que PyTorch et TensorFlow, fournissent les outils nécessaires à la construction et à l'entraînement des modèles qui sont finalement évalués à l'aide de mAP.

Applications dans le monde réel

La métrique mAP est fondamentale pour le développement de systèmes d'intelligence artificielle fiables.

1. Véhicules autonomes: Dans l'IA pour les voitures autonomes, un modèle de perception doit détecter avec précision divers objets tels que les voitures, les piétons, les cyclistes et les panneaux de signalisation. Un score mAP élevé sur un ensemble de données difficile comme Argoverse indique que le modèle est robuste et fiable dans toutes les classes critiques, ce qui est essentiel pour garantir la sécurité. Les entreprises leaders dans ce domaine, telles que Waymo, dépendent fortement d'évaluations rigoureuses utilisant des mesures telles que mAP.
2. Analyse d'images médicales: Lors de l'entraînement d'un modèle pour détecter des anomalies telles que des tumeurs ou des lésions sur des scanners à l'aide d'un ensemble de données comme l'ensemble de données sur les tumeurs cérébrales, le mAP est utilisé pour évaluer sa précision diagnostique globale. Un mAP élevé garantit que le modèle n'est pas seulement efficace pour détecter le type d'anomalie le plus courant, mais aussi pour identifier des conditions plus rares, mais tout aussi importantes. Cette évaluation complète est une étape clé avant d'envisager le déploiement d'un modèle dans les établissements de soins de santé.