Dati di convalida

Ruolo nello sviluppo del modello

Durante la fase di addestramento, un modello ML apprende modelli dai dati di addestramento. Tuttavia, valutare semplicemente il modello sugli stessi dati da cui è stato appreso può essere fuorviante e spesso porta a stime di performance troppo ottimistiche a causa dell'overfitting: il modello apprende troppo bene i dati di addestramento, compresi i rumori e le stranezze specifiche, ostacolando la sua capacità di generalizzare a nuovi dati. I dati di convalida fungono da proxy per i dati non visti durante la formazione. Valutando le prestazioni del modello sul set di validazione a intervalli regolari (ad esempio, dopo ogni epoch), gli sviluppatori possono:

1. Regola gli iperparametri: Regola impostazioni come il tasso di apprendimento, la dimensione del batch o la complessità del modello (ad esempio, il numero di strati in una rete neurale). Esplora le tecniche come la guida alla regolazione degli iperparametri.
2. Selezionare i modelli: Confronta diversi algoritmi o architetture per vedere quale si comporta meglio sul set di validazione.
3. Prevenire l'overfitting: Implementa l'arresto anticipato, in cui l'addestramento viene interrotto quando le prestazioni sul set di validazione iniziano a peggiorare, anche se le prestazioni sul set di addestramento stanno ancora migliorando. Ulteriori informazioni su Suggerimenti per la formazione dei modelli.

Dati di convalida vs. dati di formazione e di test

Comprendere la distinzione tra dataset di formazione, validazione e test è fondamentale:

• Dati di addestramento: La porzione più grande del dataset, utilizzata direttamente dall'algoritmo per apprendere i modelli e regolare i suoi parametri interni(pesi del modello).
• Dati di convalida: Una porzione di medie dimensioni utilizzata iterativamente durante l'addestramento per mettere a punto gli iperparametri e prendere decisioni sulla selezione del modello. Fornisce un feedback sul livello di generalizzazione del modello in base allo stato di addestramento corrente.
• Dati di prova: Una parte più piccola, completamente separata, che viene trattenuta fino alla fine del processo di sviluppo. Fornisce la valutazione finale e imparziale delle prestazioni del modello scelto su dati realmente inediti. In particolare, il set di test non deve influenzare alcuna decisione di formazione o di messa a punto per garantire una valutazione affidabile delle prestazioni previste dal modello nel mondo reale.

Importanza e vantaggi

L'utilizzo di un set di validazione dedicato è essenziale per costruire modelli ML robusti e affidabili. I vantaggi principali includono:

• Generalizzazione migliorata: Aiuta a garantire che il modello funzioni bene non solo sui dati su cui è stato addestrato, ma anche su nuovi dati non visti.
• Confronto oggettivo tra modelli: Fornisce una base equa per confrontare diversi modelli o impostazioni di iperparametri.
• Prevenzione dell'overfitting: Agisce come un sistema di allarme precoce per rilevare quando un modello inizia a memorizzare i dati di addestramento invece di imparare modelli generali. Una guida dettagliata sulla valutazione e la messa a punto dei modelli può fornire un ulteriore contesto.

Esempi del mondo reale

1. Rilevamento degli oggetti con Ultralytics YOLO: quando si addestra un Ultralytics YOLO per rilevare oggetti come automobili e pedoni per un'applicazione di guida autonoma, i dati di addestramento sono costituiti da migliaia di immagini etichettate. Il set di convalida, contenente immagini diverse con oggetti simili, viene utilizzato dopo ogni periodo di addestramento per calcolare metriche come la precisione media (mAP). Questa mAP di validazione guida le regolazioni degli iperparametri (ad esempio, la velocità di apprendimento, l'intensità di incremento dei dati) utilizzando strumenti come Ultralytics HUB per trovare la configurazione che produce le migliori prestazioni sul set di validazione prima del test finale.
2. Analisi delle immagini mediche: Supponiamo che tu stia sviluppando una rete neurale convoluzionale (CNN) per classificare i tumori nelle scansioni cerebrali utilizzando un set di dati come il Brain Tumor dataset. Il set di validazione verrebbe utilizzato per confrontare diverse architetture di CNN (ad esempio, ResNet vs. VGG) o per mettere a punto parametri come il tasso di abbandono. Ottimizzando in base all'accuratezza della validazione o al punteggio F1, i ricercatori possono selezionare il modello più promettente senza compromettere l'integrità della valutazione finale del set di test, fondamentale per le applicazioni cliniche regolamentate da enti come la FDA.

Tecniche che coinvolgono i dati di convalida

A volte, soprattutto in presenza di dati limitati, un singolo split di convalida potrebbe non essere rappresentativo. Tecniche come la convalida incrociata affrontano questo problema. Nella convalida incrociata K-Fold, i dati di addestramento vengono divisi in "k" sottoinsiemi (fold). Il modello viene addestrato "k" volte, utilizzando ogni volta un diverso fold come set di validazione e i restanti k-1 fold per l'addestramento. La media delle prestazioni nei "k" fold di validazione fornisce una stima più robusta della capacità di generalizzazione del modello. Puoi trovare delle implementazioni in librerie come Scikit-learn.

I dati di convalida sono indispensabili per guidare lo sviluppo di modelli efficaci di computer vision e di altri ML, assicurando che siano ben messi a punto e in grado di generalizzare a nuove sfide al di là del set di dati di addestramento.