Precisione

Come viene calcolata la precisione

L'accuratezza viene calcolata dividendo il numero di previsioni corrette (sia i veri positivi che i veri negativi) per il numero totale di previsioni effettuate. Ad esempio, se un modello identifica correttamente 90 immagini su 100, la sua accuratezza è del 90%. Questa semplicità lo rende un punto di partenza popolare per valutare le prestazioni del modello.

Importanza dell'intelligenza artificiale e dell'apprendimento automatico

L'accuratezza fornisce una misura diretta della frequenza con cui un modello è complessivamente corretto. È molto utilizzata durante le fasi iniziali dello sviluppo e dell'addestramento del modello per avere un'idea generale delle prestazioni. Un'elevata accuratezza è spesso un obiettivo primario per molte applicazioni, che indica che il modello si generalizza bene a nuovi dati non visti. Molti modelli all'avanguardia, come ad esempio Ultralytics YOLO per il rilevamento degli oggetti, cercano di ottenere un'elevata accuratezza bilanciando altri fattori come la velocità. Puoi vedere confronti come YOLO11 vs YOLOv8 che spesso evidenziano i benchmark di accuratezza.

Limiti della precisione

Nonostante la sua intuitività, l'accuratezza ha dei limiti significativi:

• Set di dati sbilanciati: L'accuratezza può essere un cattivo indicatore delle prestazioni quando si ha a che fare con dati sbilanciati, in cui una classe supera significativamente le altre. Ad esempio, nell'individuazione di una malattia rara (ad esempio con una prevalenza dell'1%), un modello che predice sempre "nessuna malattia" raggiunge un'accuratezza del 99% ma non riesce a identificare alcun caso reale, rendendolo inutile. Ciò evidenzia l'importanza di considerare le potenziali distorsioni del set di dati.
• Ignorare i tipi di errore: L'accuratezza tratta tutti gli errori allo stesso modo. Tuttavia, in molti scenari reali, il costo dei diversi errori varia. Ad esempio, sbagliare a classificare un tumore maligno come benigno (falso negativo) è spesso molto più critico che classificare un tumore benigno come maligno (falso positivo).
• Paradosso dell'accuratezza: in alcune situazioni, un modello meno accurato secondo la definizione standard potrebbe essere più utile nella pratica. Questo è noto come Paradosso dell'Accuratezza.

Distinguere l'accuratezza da altre metriche

A causa dei limiti dell'accuratezza, soprattutto in presenza di dati sbilanciati o di costi di errore variabili, spesso vengono preferite o affiancate altre metriche:

• Precisione: Misura la percentuale di identificazioni positive effettivamente corrette. Un'elevata precisione è fondamentale quando il costo dei falsi positivi è elevato (ad esempio, i filtri antispam che segnalano le email importanti come spam).
• Richiamo (sensibilità): Misura la proporzione di positivi effettivi che sono stati identificati correttamente. Un richiamo elevato è fondamentale quando il costo dei falsi negativi è elevato (ad esempio, la mancata diagnosi).
• Punteggio F1: La media armonica di Precision e Recall, che fornisce un equilibrio tra i due. È utile quando sono importanti sia i falsi positivi che i falsi negativi.
• Precisione media (mAP): Una metrica comune nel rilevamento degli oggetti che considera sia l'accuratezza di classificazione che l'accuratezza di localizzazione (IoU) attraverso diversi livelli di richiamo.
• Matrice di confusione: Una tabella che visualizza le prestazioni di un algoritmo di classificazione, mostrando i veri positivi, i veri negativi, i falsi positivi e i falsi negativi, che aiuta a calcolare precisione, richiamo e accuratezza.
• Curve ROC e AUC: Visualizzano il compromesso tra il tasso di veri positivi (Recall) e il tasso di falsi positivi con varie impostazioni di soglia.

La comprensione di queste diverse metriche di prestazioneYOLO consente una valutazione più sfumata delle prestazioni del modello in base alle esigenze specifiche.

Applicazioni AI/ML del mondo reale

1. Analisi di immagini mediche: In compiti come il rilevamento dei tumori con YOLO11, mentre si considera l'accuratezza complessiva, metriche come il richiamo (sensibilità) sono spesso prioritarie per minimizzare il rischio di perdere tumori reali (falsi negativi). Le soluzioni di IA in ambito sanitario devono bilanciare attentamente queste metriche.
2. Veicoli autonomi: Per le soluzioni di AI nel settore automobilistico, i modelli di rilevamento degli oggetti devono avere un'elevata precisione nell'identificazione di pedoni, veicoli e ostacoli. Tuttavia, la semplice misurazione dell'accuratezza complessiva non è sufficiente; metriche come la mAP sono fondamentali per garantire una classificazione corretta e una localizzazione precisa( previsionedella bounding box ) per la sicurezza.

Migliorare la precisione del modello

Diverse tecniche possono aiutare a migliorare l'accuratezza del modello, anche se spesso comportano compromessi con altre metriche o con il costo computazionale:

• Aumento dei dati: Aumentare artificialmente la diversità dei dati di allenamento senza raccogliere nuovi campioni. Consulta la guida all'incremento dei dati diYOLO per gli esempi.
• Regolazione degli iperparametri: Ottimizzazione di parametri come il tasso di apprendimento o la dimensione del batch che vengono impostati prima dell'inizio dell'addestramento. Guide come quella sulla regolazione degli iperparametri possono aiutarti.
• Scegliere architetture avanzate: Scegliere modelli più potenti come i nuovi modelliUltralytics YOLO o i Transformer.
• Trasferimento di apprendimento: Utilizza modelli pre-addestrati su grandi set di dati come ImageNet e li mette a punto su un compito specifico.
• Metodi Ensemble: Combinare le previsioni di più modelli per migliorare le prestazioni complessive.

Risorse di consulenza come Model Training Tips possono fornire indicazioni pratiche. Piattaforme come Ultralytics HUB consentono agli utenti di addestrare i modelli e di monitorare facilmente l'accuratezza insieme ad altre metriche chiave, spesso visualizzate con strumenti come TensorBoard. Per tenere traccia dei progressi nel campo si possono utilizzare risorse come lo Stanford AI Index Report o sfogliare i dataset su Papers With Code. Framework come PyTorch (vedi sito ufficiale) e TensorFlow (vedi sito ufficiale) sono comunemente utilizzati per costruire e addestrare questi modelli.

In conclusione, sebbene l'accuratezza sia una metrica preziosa e intuitiva per valutare le prestazioni dei modelli di intelligenza artificiale, raramente dovrebbe essere utilizzata in modo isolato. Considerare gli obiettivi specifici dell'attività di ML e la natura dei dati, in particolare i potenziali squilibri o i costi variabili degli errori, è essenziale per selezionare le metriche di valutazione più appropriate come precision, recall, F1-score o mAP. L'utilizzo di tecniche di Explainable AI (XAI) può anche fornire approfondimenti al di là dei valori delle singole metriche.