Monitoraggio del modello

Perché il monitoraggio del modello è importante?

I modelli di ML vengono addestrati su dati storici, ma il mondo reale è dinamico. I cambiamenti nei modelli di dati, nel comportamento degli utenti o nell'ambiente possono causare un calo delle prestazioni di un modello dopo la sua implementazione. Le ragioni principali per il monitoraggio sono:

• Rilevare il degrado delle prestazioni: I modelli possono diventare meno precisi nel tempo. Il monitoraggio aiuta a identificare i cali nelle metriche delle prestazioni come la precisione, il richiamo o il punteggio F1. Per saperne di più sulle metriche delle prestazioni diYOLO , consulta la nostra guida.
• Identificare la deriva dei dati: Le proprietà statistiche dei dati di input possono cambiare, un fenomeno noto come deriva dei dati. Questo può accadere quando i dati che il modello vede in produzione differiscono significativamente dai dati di addestramento. Il monitoraggio delle caratteristiche di input aiuta a rilevare queste variazioni.
• Individuare la deriva del concetto: La relazione tra le caratteristiche di input e la variabile target può cambiare nel tempo (deriva del concetto). Ad esempio, le preferenze dei clienti possono evolversi, rendendo obsoleti i vecchi modelli di previsione. La deriva dei concetti richiede la riqualificazione o l'adattamento del modello.
• Garantire la salute operativa: Il monitoraggio tiene traccia delle metriche operative come la latenza di inferenza, il throughput e i tassi di errore per garantire che l'infrastruttura di model serving(model serving) funzioni senza problemi.
• Mantenere l'equità e l'etica: Il monitoraggio può aiutare a rilevare e mitigare i pregiudizi nell'IA monitorando le prestazioni di diversi gruppi demografici o segmenti di dati, promuovendo l'etica dell'IA.

Quali aspetti vengono monitorati?

Un monitoraggio efficace del modello comporta in genere il monitoraggio di diverse categorie di parametri:

• Prestazioni di predizione: Metriche come l'accuratezza, la precisione media (mAP), l'AUC e i tassi di errore, spesso confrontati con i parametri di riferimento stabiliti durante la convalida.
• Qualità e integrità dei dati: Rilevare i valori mancanti, gli errori di tipo dei dati e le violazioni degli intervalli nei dati di input.
• Deriva dei dati di input: Misure statistiche (ad esempio, indice di stabilità della popolazione, test di Kolmogorov-Smirnov) per confrontare la distribuzione delle caratteristiche di produzione in ingresso con la distribuzione dei dati di formazione.
• Deriva delle previsioni/uscite: Monitoraggio della distribuzione delle previsioni del modello per rilevare spostamenti significativi.
• Metriche operative: Metriche a livello di sistema come CPU/GPU l'utilizzo della CPU / GPU, l'utilizzo della memoria, la latenza delle richieste e il throughput. Per questo vengono spesso utilizzate piattaforme come Prometheus.
• Metriche di equità e parzialità: Valutare le disparità di prestazioni del modello tra gli attributi sensibili (ad esempio, età, sesso, etnia) utilizzando metriche come la parità demografica o le probabilità equalizzate.

Monitoraggio del modello e concetti correlati

È importante distinguere il monitoraggio dei modelli da termini simili:

• Osservabilità: Mentre il monitoraggio si concentra sul tracciamento di metriche predefinite per valutare le modalità di guasto note, l'osservabilità fornisce gli strumenti (log, metriche, tracce) per esplorare e comprendere gli stati e i comportamenti sconosciuti del sistema. L'osservabilità consente un'indagine più approfondita quando il monitoraggio rileva un'anomalia.
• MLOps: MLOps è un insieme più ampio di pratiche che coprono l'intero ciclo di vita del ML, tra cui la gestione dei dati, la formazione dei modelli, la distribuzione, la governance e il monitoraggio. Il monitoraggio dei modelli è una componente fondamentale del quadro MLOps, che si concentra in particolare sulla salute dei modelli dopo la loro distribuzione.
• Valutazione del modello: La valutazione viene solitamente eseguita prima della distribuzione utilizzando dati di convalida statici o dati di test per valutare la qualità di un modello. Il monitoraggio è un processo continuo eseguito su dati di produzione reali dopo la distribuzione. Qui trovi informazioni sulla valutazione e la messa a punto dei modelli.

Applicazioni del mondo reale

1. Sistemi di raccomandazione per l'e-commerce: Una piattaforma di e-commerce utilizza un modello ML per le raccomandazioni dei prodotti(sistema di raccomandazione). Il monitoraggio del modello tiene traccia dei tassi di click-through (CTR) e dei tassi di conversione degli articoli consigliati. Se il monitoraggio rileva un calo improvviso del CTR (degrado delle prestazioni) o un cambiamento nei tipi di prodotti acquistati (deriva concettuale dovuta a una nuova tendenza), vengono attivati degli avvisi. Ciò richiede un'indagine e, potenzialmente, una riqualificazione del modello con dati di interazione più recenti. Amazon Personalize include funzioni per il monitoraggio dell'efficacia delle raccomandazioni.
2. Percezione dei veicoli autonomi: Le auto a guida autonoma si affidano molto a modelli di visione computerizzata come Ultralytics YOLO per il rilevamento degli oggetti. Il monitoraggio del modello tiene costantemente traccia dell'accuratezza del rilevamentoYOLO metrica delle prestazioni diYOLO ) e dei punteggi di confidenza per oggetti come pedoni, ciclisti e altri veicoli. Inoltre, monitora le caratteristiche dei dati di input (ad esempio, la luminosità dell'immagine, le condizioni atmosferiche) per rilevare le derive. Se le prestazioni del modello si riducono significativamente in determinate condizioni (ad esempio, pioggia battente, scarsa illuminazione), il sistema potrebbe passare a una modalità operativa più sicura o segnalare la necessità di aggiornare il modello con dati più diversificati(aumento dei dati). Aziende come Waymo investono molto nel monitoraggio dei loro sistemi di percezione.

Strumenti e implementazione

L'implementazione del monitoraggio dei modelli spesso comporta l'utilizzo di strumenti e piattaforme specializzate. Le opzioni vanno dalle librerie open-source come Evidently AI e NannyML ai servizi gestiti offerti dai provider cloud(AWS SageMaker Model Monitor, Google Vertex AI Model Monitoring, Azure Machine Learning data drift detection) e alle piattaforme MLOps dedicate come Arize AI o WhyLabs. Piattaforme come Ultralytics HUB forniscono un'infrastruttura che supporta la distribuzione e la gestione dei modelli, integrandosi con soluzioni di monitoraggio per completare il ciclo MLOps. Le strategie efficaci di manutenzione dei modelli si basano molto su un solido monitoraggio.