Deriva dei dati

Perché la deriva dei dati è importante

Quando si verifica una deriva dei dati, i modelli addestrati sui dati storici diventano meno efficaci nel fare previsioni su dati nuovi e non visti. Questo degrado delle prestazioni può portare a un processo decisionale errato, a una riduzione del valore aziendale o a guasti critici in applicazioni sensibili. Ad esempio, un modello addestrato per il rilevamento di oggetti potrebbe iniziare a non trovarli se le condizioni di illuminazione o l'angolazione della telecamera cambiano in modo significativo rispetto ai dati di addestramento. Il monitoraggio continuo del modello è fondamentale per rilevare tempestivamente la deriva e implementare azioni correttive, come la riqualificazione o gli aggiornamenti del modello utilizzando piattaforme come Ultralytics HUB, per preservare le prestazioni. Ignorare la deriva dei dati può rendere rapidamente obsoleti anche modelli sofisticati come quelli di Ultralytics YOLO obsoleti.

Cause della deriva dei dati

Diversi fattori possono contribuire alla deriva dei dati, tra cui:

• Cambiamenti nel mondo reale: Eventi esterni, stagionalità (ad esempio, i modelli di acquisto per le vacanze) o cambiamenti nel comportamento degli utenti possono alterare la distribuzione dei dati.
• Modifiche alla fonte dei dati: Le modifiche ai metodi di raccolta dei dati, alle calibrazioni dei sensori o alle pipeline di elaborazione dei dati a monte possono introdurre una deriva. Ad esempio, un cambiamento nell'hardware della telecamera di un sistema di visione computerizzato.
• Cambiamenti delle caratteristiche: La rilevanza o la definizione delle caratteristiche in ingresso potrebbe cambiare nel tempo.
• Problemi di qualità dei dati: Problemi come valori mancanti, valori anomali o errori introdotti durante la raccolta o l'elaborazione dei dati possono accumularsi e causare una deriva. Mantenere la qualità dei dati è fondamentale.
• Modifiche al modello a monte: Se un modello si basa sull'output di un altro modello, le modifiche al modello a monte possono causare una deriva dei dati per il modello a valle.

Deriva dei dati e concetti correlati

La deriva dei dati riguarda principalmente i cambiamenti nella distribuzione dei dati in ingresso (la X variabili nella modellazione). Si distingue dai concetti correlati:

• Concept Drift: Si tratta di cambiamenti nella relazione tra i dati di ingresso e la variabile di destinazione (il Y variabile). Ad esempio, la definizione di email di spam potrebbe cambiare nel tempo, anche se le caratteristiche delle email stesse rimangono statisticamente simili. La deriva dei dati si concentra sugli input, mentre la deriva dei concetti si concentra sui modelli o sulle regole sottostanti che il modello cerca di prevedere. Per saperne di più rilevamento della deriva concettuale.
• Rilevamento delle anomalie: Si tratta di individuare singoli punti di dati che si discostano in modo significativo dalla norma o dagli schemi previsti. Sebbene le anomalie possano talvolta segnalare una deriva, la deriva dei dati si riferisce a un cambiamento più ampio e sistemico nella distribuzione complessiva dei dati, non solo ai valori anomali isolati.

La comprensione di queste distinzioni è fondamentale per ottenere pratiche MLOps efficaci.

Applicazioni del mondo reale

La deriva dei dati ha un impatto su diversi ambiti in cui vengono impiegati i modelli di ML:

• Servizi finanziari: I modelli di rilevamento delle frodi possono subire una deriva a causa dello sviluppo di nuove tattiche da parte dei truffatori. I modelli di credit scoring possono subire delle derive a causa dei cambiamenti delle condizioni economiche che influenzano il comportamento dei mutuatari. Leggi i modelli di computer vision nella finanza.
• Commercio al dettaglio ed e-commerce: I sistemi di raccomandazione possono subire delle derive a causa del cambiamento delle tendenze dei consumatori, della stagionalità o degli eventi promozionali. I modelli di gestione dell'inventario possono subire una deriva se le dinamiche della catena di approvvigionamento o i modelli di domanda dei clienti cambiano.
• Sanità: I modelli per l'analisi delle immagini mediche, come quelli utilizzati per il rilevamento dei tumori, possono subire una deriva se vengono introdotte nuove apparecchiature o protocolli di imaging, alterando le caratteristiche dell'immagine rispetto al set di dati di addestramento originale ottenuto da piattaforme come Imagenet.
• Produzione: I modelli di manutenzione predittiva potrebbero subire delle derive se le apparecchiature subiscono un'usura diversa da quella prevista o se le condizioni operative cambiano. Esplora l'IA nel settore manifatturiero.

Rilevare e mitigare la deriva dei dati

Rilevare e affrontare la deriva dei dati comporta diverse tecniche:

• Monitoraggio delle prestazioni: Il monitoraggio delle metriche chiave del modello, come la precisione, il richiamo e il punteggio F1 nel tempo, può indicare il degrado delle prestazioni potenzialmente causato dalla deriva. Strumenti come TensorBoard possono aiutare a visualizzare queste metriche.
• Monitoraggio statistico: Applicazione di test statistici per confrontare la distribuzione dei dati in entrata con i dati di formazione. I metodi più comuni includono il test di Kolmogorov-Smirnov, l'indice di stabilità della popolazione (PSI) o i test del chi-quadro.
• Strumenti di monitoraggio: Utilizzo di piattaforme e strumenti di osservabilità specializzati come Prometheus, Grafana, Evidently AI e NannyML, progettati per il monitoraggio dei modelli ML in produzione. Ultralytics HUB offre anche funzioni per il monitoraggio dei modelli addestrati e distribuiti attraverso la sua piattaforma.
• Strategie di mitigazione:
  • Riqualificazione: Riqualificare regolarmente il modello su dati recenti. Ultralytics HUB facilita i flussi di lavoro di riqualificazione.
  • Apprendimento online: Aggiornamento del modello in modo incrementale quando arrivano nuovi dati (da usare con cautela, perché può essere sensibile al rumore).
  • Aumento dei dati: Utilizzo di tecniche durante l'addestramento per rendere il modello più robusto alle variazioni dei dati di ingresso.
  • Adattamento al dominio: L'impiego di tecniche che adattano esplicitamente il modello alla nuova distribuzione dei dati.
  • Selezione del modello: Scegliere modelli intrinsecamente più robusti alle variazioni dei dati. Esplora i suggerimenti per una formazione robusta dei modelli.

Gestire efficacemente la deriva dei dati è un processo continuo, fondamentale per garantire che i sistemi di intelligenza artificiale costruiti con framework come PyTorch o TensorFlow rimangano affidabili e forniscano valore per tutta la loro durata operativa.