Precisione media (mAP)

Capire le basi: Precisione e richiamo

Per comprendere la mAP, è essenziale capire prima la precisione e il richiamo. Nel contesto del rilevamento di oggetti:

• Precisione: Misura quanti degli oggetti identificati sono stati effettivamente corretti. Un'alta precisione significa che il modello fa poche previsioni false positive.
• Richiamo: Misura quanti degli oggetti effettivamente presenti sono stati identificati correttamente dal modello. Un alto richiamo significa che il modello trova la maggior parte degli oggetti rilevanti (pochi falsi negativi).

Queste due metriche hanno spesso una relazione inversa: migliorare una può talvolta diminuire l'altra. mAP fornisce un modo per valutare il modello in diversi punti di questo compromesso, offrendo una visione più equilibrata delle prestazioni. Per saperne di più sui fondamenti di Precision e Recall, puoi consultare Wikipedia.

Come viene calcolata la mAP

Il calcolo della mAP prevede diverse fasi, fornendo una solida valutazione delle prestazioni di un modello per diverse classi di oggetti e soglie di rilevamento:

1. Ordinamento della fiducia: Per ogni classe di oggetti, le previsioni del modello ( caselle di delimitazione rilevate) vengono ordinate in base ai punteggi di confidenza, dal più alto al più basso.
2. Curva di precisione-richiamo: Per ogni classe viene generata una curva di precisione-richiamo. Questa curva mette in relazione la precisione con i valori di richiamo calcolati a varie soglie di confidenza. Al diminuire della soglia, il richiamo generalmente aumenta (vengono rilevati più oggetti), mentre la precisione potrebbe diminuire (vengono inclusi più falsi positivi).
3. Precisione media (AP): la precisione media (AP) per una singola classe è calcolata come l'area sotto la sua curva di precisione-richiamo. In questo modo si ottiene un singolo numero che riassume le prestazioni del modello per quella specifica classe, per tutti i livelli di richiamo. Esistono diversi metodi per approssimare quest'area.
4. Precisione media (mAP): Infine, la mAP viene calcolata facendo la media dei valori di AP su tutte le classi di oggetti del set di dati. In questo modo si ottiene un punteggio complessivo delle prestazioni del modello sull'intero set di dati.

Spesso la mAP viene riportata in base a specifiche soglie di Intersection over Union (IoU). L'IoU misura la sovrapposizione tra il rettangolo di selezione previsto e il rettangolo di selezione reale. Le varianti comuni di mAP includono:

• mAP@0.5 (o mAP50): Calcolato utilizzando una soglia IoU fissa di 0,5. Si tratta di una metrica standard utilizzata in benchmark come la sfida PASCAL VOC. Un rilevamento è considerato corretto solo se il suo IoU con la verità a terra è pari o superiore a 0,5.
• mAP@.5:.95 (o mAP[.5:.95]): Calcolato calcolando la media della mAP su più soglie IoU, in genere da 0,5 a 0,95, con un passo di 0,05. Questa metrica, comunemente utilizzata nella valutazione del set di dati COCO, fornisce una valutazione più completa considerando le prestazioni in presenza di diversi requisiti di accuratezza della localizzazione.

Per un approfondimento su come queste metriche si applicano specificamente ai modelli YOLO , consulta la guidaUltralytics YOLO Performance Metrics.

Perché mAP è importante

La precisione media è fondamentale perché offre una visione olistica delle prestazioni di un modello di rilevamento degli oggetti. Tiene conto contemporaneamente dell'accuratezza della classificazione (la classe dell'oggetto è corretta?) e dell'accuratezza della localizzazione (il rettangolo di selezione è posizionato correttamente?) in tutte le classi definite nei dati di formazione. Ciò lo rende più informativo rispetto alla precisione o al richiamo isolati, soprattutto in dataset con più categorie di oggetti o distribuzioni di classi sbilanciate. Un punteggio mAP più alto indica generalmente un modello di rilevamento degli oggetti più robusto e affidabile. Tecniche come l'aumento accurato dei dati, la regolazione degli iperparametri e la scelta di un'architettura di modello appropriata (come quella di YOLO11) sono strategie comuni per migliorare la mAP.

Applicazioni del mondo reale

La mAP è fondamentale per valutare i modelli per le attività del mondo reale, dove l'accuratezza e l'affidabilità sono fondamentali:

• Veicoli autonomi: Nell'intelligenza artificiale per le soluzioni di guida autonoma, i modelli di rilevamento degli oggetti devono individuare con precisione pedoni, veicoli, semafori e ostacoli. mAP fornisce un metodo standard per misurare e confrontare le prestazioni di diversi modelli di rilevamento (ad esempio, il confronto tra YOLOv8 e YOLOv11), garantendo un'elevata affidabilità per le decisioni fondamentali per la sicurezza.
• Imaging medico: Per le applicazioni di AI in ambito sanitario, come il rilevamento dei tumori nelle scansioni mediche, il mAP aiuta a valutare la capacità dei modelli di identificare e delineare le anomalie. Un'elevata mAP garantisce che i medici ricevano un supporto accurato dagli strumenti di IA, favorendo la diagnosi e la pianificazione del trattamento. Questo spesso comporta un addestramento su set di dati specializzati, come quelli per il rilevamento dei tumori cerebrali.

Altre applicazioni includono la sorveglianza della sicurezza, la robotica(integrazione della computer vision nella robotica), l'analisi della vendita al dettaglio(AI per una gestione più intelligente dell'inventario al dettaglio) e l'agricoltura.

mAP rispetto ad altre metriche

È importante distinguere la mAP dalle metriche di valutazione correlate utilizzate nell'apprendimento automatico (ML):

• Precisione: Utilizzata principalmente nelle attività di classificazione, l'accuratezza misura la percentuale complessiva di predizioni corrette (sia i veri positivi che i veri negativi) sul numero totale di istanze. Non valuta direttamente la qualità della localizzazione e può essere fuorviante nel rilevamento degli oggetti, soprattutto in caso di set di dati sbilanciati in cui domina la classe dello sfondo.
• Intersezione su Unione (IoU): Misura la sovrapposizione spaziale tra un riquadro di delimitazione previsto e un riquadro di delimitazione della verità a terra. Mentre IoU valuta la qualità della localizzazione per i singoli rilevamenti, mAP incorpora soglie IoU (come 0,5 o l'intervallo 0,5:0,95) per determinare se un rilevamento è considerato un vero positivo e quindi aggrega le prestazioni tra classi e livelli di confidenza. L'IoU stesso è un componente utilizzato nel calcolo di mAP, non lo sostituisce.

Comprendere queste differenze è fondamentale per selezionare la metrica appropriata in base al compito specifico e agli obiettivi di valutazione. Per ulteriori approfondimenti, consulta la guida Valutazione e messa a punto del modello.

Strumenti e parametri di riferimento

Strumenti come Ultralytics HUB consentono agli utenti di addestrare, monitorare e valutare i modelli, mettendo in evidenza la mAP come indicatore di performance chiave durante i processi di addestramento e validazione dei modelli. I framework di ML come PyTorch e TensorFlow forniscono i componenti fondamentali per costruire e addestrare questi modelli di rilevamento degli oggetti. I dataset standardizzati come COCO e PASCAL VOC utilizzano la mAP come parametro principale per confrontare i modelli di rilevamento degli oggetti nelle classifiche pubbliche e nei documenti di ricerca, promuovendo i progressi nel settore. Puoi esplorare e confrontare le prestazioni dei vari modelli, spesso misurate con la mAP, sulle pagine di Ultralytics dedicate al confronto dei modelli.