22 agosto 2024
Potete monitorare il successo delle vostre innovazioni AI con i giusti KPI e metriche di performance. Scoprite come monitorare e ottimizzare l'impatto delle applicazioni di IA.
In precedenza abbiamo analizzato come l'IA possa essere utilizzata in diversi settori, come quello sanitario, manifatturiero e turistico. Abbiamo anche analizzato come l'IA possa migliorare le attività lavorative di tutti i giorni e discusso le principali idee imprenditoriali in materia di IA. Tutte queste discussioni portano inevitabilmente alla stessa domanda chiave: come possiamo misurare il successo di queste implementazioni dell'IA? È una domanda importante perché la semplice implementazione di soluzioni di IA non è sufficiente. È necessario assicurarsi che queste soluzioni producano effettivamente dei risultati.
Possiamo misurare le metriche di performance dell'IA per determinare se un modello di IA è veramente efficace nel rendere i processi più efficienti, nel promuovere l'innovazione o nel risolvere i problemi. Concentrandoci sui giusti indicatori di performance (KPI), possiamo capire quanto funziona una soluzione di IA e dove potrebbe essere necessario migliorarla.
In questo articolo analizzeremo come misurare il successo delle implementazioni di IA con i KPI più rilevanti. Tratteremo le differenze tra KPI aziendali e KPI di performance dell'IA, esamineremo metriche chiave come precisione e richiamo e vi aiuteremo a scegliere i KPI migliori per le vostre specifiche soluzioni di IA.
Quando si pensa ai KPI, è naturale pensare che si tratti di metriche aziendali come il ritorno sugli investimenti (ROI), i risparmi sui costi o i ricavi generati, soprattutto quando si parla di AI aziendale. Questi KPI aziendali dell'IA misurano l'impatto dell'IA sul successo complessivo di un'azienda e si allineano agli obiettivi aziendali più ampi.
Tuttavia, i KPI di performance dell'IA si concentrano sul funzionamento del sistema stesso, utilizzando metriche come l'accuratezza, la precisione e il richiamo. Entreremo nel dettaglio di queste metriche più avanti, ma in sostanza, mentre i KPI di business evidenziano i vantaggi finanziari e strategici dell'IA, i KPI di performance assicurano che un modello di IA stia svolgendo efficacemente il proprio lavoro.
Alcune metriche possono effettivamente servire a entrambi gli scopi. Ad esempio, l'aumento dell'efficienza, come la riduzione del tempo o delle risorse necessarie per completare un'attività, può essere sia un KPI di performance (che mostra il funzionamento della soluzione di intelligenza artificiale) sia un KPI aziendale (che misura i risparmi sui costi e i miglioramenti della produttività). La soddisfazione dei clienti è un'altra metrica trasversale. Può riflettere il successo di uno strumento di assistenza clienti guidato dall'intelligenza artificiale sia in termini di prestazioni tecniche che di impatto sugli obiettivi aziendali generali.
Esistono alcune metriche comuni utilizzate per misurare le prestazioni di un modello di intelligenza artificiale. In primo luogo, daremo un'occhiata alla loro definizione e a come vengono calcolate. Poi vedremo come monitorare queste metriche.
La precisione è una metrica che misura l'accuratezza con cui un modello di intelligenza artificiale identifica i veri positivi (casi in cui il modello identifica correttamente un oggetto o una condizione come dovrebbe). Ad esempio, in un sistema di riconoscimento facciale, un vero positivo si verifica quando il sistema riconosce e identifica correttamente il volto di una persona che è stato addestrato a rilevare.
Per calcolare la precisione, occorre innanzitutto contare il numero di veri positivi. Si può quindi dividere questo dato per il numero totale di elementi che il modello ha etichettato come positivi. Questo totale comprende sia le identificazioni corrette che gli errori, chiamati falsi positivi. In sostanza, la precisione indica la frequenza con cui il modello è corretto quando afferma di aver riconosciuto qualcosa.
È particolarmente importante negli scenari in cui le conseguenze dei falsi positivi possono essere costose o dannose. Per esempio, nella produzione automatizzata, un alto tasso di precisione indica che il sistema può segnalare con maggiore precisione i prodotti difettosi e prevenire lo scarto o la rilavorazione non necessari di articoli buoni. Un altro buon esempio è la sorveglianza della sicurezza. Un'elevata precisione aiuta a ridurre al minimo i falsi allarmi e a concentrarsi solo sulle minacce reali che richiedono una risposta di sicurezza.
Il richiamo aiuta a misurare la capacità di un modello di intelligenza artificiale di identificare tutte le istanze rilevanti, o veri positivi, all'interno di un set di dati. In parole povere, rappresenta la capacità di un sistema di intelligenza artificiale di catturare tutti i casi reali di una condizione o di un oggetto che è stato progettato per rilevare. Il richiamo può essere calcolato dividendo il numero di rilevamenti corretti per il numero totale di casi positivi che avrebbero dovuto essere rilevati (comprende sia i casi che il modello ha identificato correttamente sia quelli che ha mancato).
Consideriamo un sistema di imaging medico abilitato all'intelligenza artificiale utilizzato per il rilevamento del cancro. Il richiamo, in questo contesto, riflette la percentuale di casi reali di cancro che il sistema identifica correttamente. Un'alta percentuale di richiamo è fondamentale in questi scenari, perché la mancata diagnosi di un cancro può portare a gravi conseguenze per la cura del paziente.
Precisione e richiamo sono due facce della stessa medaglia quando si tratta di valutare le prestazioni di un modello di intelligenza artificiale e spesso richiedono un equilibrio. La sfida è che il miglioramento di una metrica può spesso andare a scapito dell'altra.
Supponiamo che si spinga verso una maggiore precisione. Il modello potrebbe diventare più selettivo ed essere in grado di identificare solo i positivi di cui è molto sicuro. D'altra parte, se si punta a migliorare il richiamo, il modello può identificare un maggior numero di positivi, ma questo potrebbe includere un maggior numero di falsi positivi e finire per ridurre la precisione.
La chiave è trovare il giusto equilibrio tra precisione e richiamo in base alle esigenze specifiche dell'applicazione. Uno strumento utile a questo scopo è la curva precisione-richiamo, che mostra la relazione tra le due metriche a diverse soglie. Analizzando questa curva, è possibile determinare il punto ottimale in cui il modello si comporta meglio per il vostro caso d'uso specifico. La comprensione del compromesso aiuta a mettere a punto i modelli di intelligenza artificiale per ottenere prestazioni ottimali per i casi d'uso previsti.
La precisione media media (mAP) è una metrica utilizzata per valutare le prestazioni dei modelli di intelligenza artificiale per compiti come il rilevamento di oggetti, in cui il modello deve identificare e classificare più oggetti all'interno di un'immagine. mAP fornisce un singolo punteggio che mostra le prestazioni del modello in tutte le diverse categorie che è stato addestrato a riconoscere. Vediamo come viene calcolato.
L'area sotto una curva di precisione-richiamo fornisce la precisione media (AP) per quella classe. L'AP misura l'accuratezza con cui il modello fa previsioni per una classe specifica, considerando sia la precisione che il richiamo attraverso vari livelli di confidenza (i livelli di confidenza si riferiscono a quanto il modello è sicuro nelle sue previsioni). Una volta calcolato l'AP per ogni classe, si determina l'mAP calcolando la media dei valori di AP per tutte le classi.
mAP è utile in applicazioni come la guida autonoma, dove è necessario rilevare simultaneamente più oggetti, come pedoni, veicoli e segnali stradali. Un punteggio elevato di mAP significa che il modello ottiene costantemente buone prestazioni in tutte le categorie, rendendolo affidabile e preciso in un'ampia gamma di scenari.
Le formule e i metodi di calcolo delle metriche chiave delle prestazioni dell'intelligenza artificiale possono sembrare scoraggianti. Tuttavia, strumenti come il pacchetto Ultralytics possono rendere tutto più semplice e veloce. Che si tratti di attività di rilevamento, segmentazione o classificazione di oggetti, Ultralytics fornisce le utility necessarie per calcolare rapidamente metriche importanti come precisione, richiamo e precisione media (mAP).
Per iniziare a calcolare le metriche delle prestazioni con Ultralytics, è possibile installare il pacchetto Ultralytics come mostrato di seguito.
Per questo esempio, caricheremo un modello YOLOv8 pre-addestrato e lo useremo per convalidare le metriche delle prestazioni, ma è possibile caricare qualsiasi modello supportato fornito da Ultralytics. Ecco come fare:
Una volta caricato il modello, è possibile eseguire la convalida sul set di dati. Il seguente frammento di codice vi aiuterà a calcolare varie metriche di performance, tra cui precisione, richiamo e mAP:
L'utilizzo di strumenti come Ultralytics rende molto più semplice il calcolo delle metriche di performance, in modo da poter dedicare più tempo al miglioramento del modello e meno a preoccuparsi dei dettagli del processo di valutazione.
Quando si sviluppa un modello di intelligenza artificiale, è facile testarne le prestazioni in un ambiente controllato. Tuttavia, una volta che il modello viene distribuito, le cose possono diventare più complicate. Fortunatamente, esistono strumenti e best practice che possono aiutarvi a monitorare la vostra soluzione di IA dopo la distribuzione.
Strumenti come Prometheus, Grafana ed Evidently AI sono progettati per monitorare costantemente le prestazioni del modello. Possono fornire approfondimenti in tempo reale, rilevare anomalie e avvisare l'utente di qualsiasi potenziale problema. Questi strumenti vanno oltre il monitoraggio tradizionale, offrendo soluzioni automatizzate e scalabili che si adattano alla natura dinamica dei modelli AI in produzione.
Per misurare il successo del vostro modello di IA dopo l'implementazione, ecco alcune best practice da seguire:
Il successo dell'implementazione e della gestione di una soluzione di IA dipende dalla scelta dei giusti KPI e dal loro aggiornamento. In generale, è fondamentale scegliere metriche che mettano in evidenza l'efficacia della soluzione di IA dal punto di vista tecnico e dell'impatto sul business. Quando le cose cambiano, che si tratti di progressi tecnologici o di cambiamenti nella strategia aziendale, è importante rivedere e modificare questi KPI.
Mantenendo le valutazioni delle prestazioni dinamiche, è possibile mantenere il sistema di IA pertinente ed efficace. Tenendo sotto controllo queste metriche, otterrete preziose informazioni che vi aiuteranno a migliorare le vostre operazioni. Un approccio proattivo garantisce che i vostri sforzi di IA siano veramente validi e contribuiscano a far progredire la vostra azienda!
Unisciti alla nostra comunità e innova con noi! Esplorate il nostro repository GitHub per vedere i nostri progressi nel campo dell'IA. Scoprite come stiamo rimodellando settori come quello manifatturiero e sanitario con una tecnologia AI all'avanguardia. 🚀
IT
EN
ZH
KO
JA
RU
DE
FR
ES
PT
TR
VI
AR
.webp)