Dati di formazione

L'importanza di dati di formazione di alta qualità

Il principio "garbage in, garbage out" è particolarmente vero per l'addestramento dei modelli ML. I dati di alta qualità sono essenziali per costruire sistemi robusti e affidabili. Le caratteristiche principali includono:

• Rilevanza: I dati devono riflettere accuratamente il problema che il modello intende risolvere.
• Diversità: Deve coprire un'ampia gamma di scenari, casi limite e variazioni che il modello incontrerà nel mondo reale per evitare l 'overfitting.
• Etichettatura accurata: Le annotazioni devono essere corrette e coerenti. Il processo di etichettatura dei dati è spesso la parte più lunga di un progetto di computer vision.
• Volume sufficiente: In genere è necessaria una grande quantità di dati perché il modello possa apprendere modelli significativi. Tecniche come l'aumento dei dati possono aiutare a espandere artificialmente il set di dati.
• Bassa polarizzazione: i dati devono essere equilibrati e rappresentativi per evitare la polarizzazione del set di dati, che può portare a un comportamento scorretto o errato del modello. La comprensione dei bias algoritmici è un aspetto chiave dello sviluppo responsabile dell'IA.

Piattaforme come Ultralytics HUB forniscono strumenti per gestire i set di dati durante l'intero ciclo di vita del modello, mentre strumenti open-source come CVAT sono popolari per le attività di annotazione.

Esempi del mondo reale

1. Veicoli autonomi: Per addestrare un modello di rilevamento degli oggetti per i veicoli autonomi, gli sviluppatori utilizzano grandi quantità di dati di addestramento provenienti da telecamere e sensori. Questi dati consistono in immagini e video in cui ogni fotogramma è meticolosamente etichettato. Pedoni, ciclisti, altre auto e segnali stradali sono racchiusi in caselle di delimitazione. Allenandosi su set di dati come Argoverse o nuScenes, l'intelligenza artificiale del veicolo impara a percepire e a navigare nell'ambiente in modo sicuro.
2. Analisi di immagini mediche: Nel settore sanitario, i dati di addestramento per l'analisi delle immagini mediche possono essere costituiti da migliaia di scansioni MRI o CT. I radiologi annotano queste immagini per evidenziare tumori, fratture o altre patologie. Un modello ML, come quello costruito con Ultralytics YOLO, può essere addestrato su un set di dati di tumori cerebrali per imparare a identificare queste anomalie, fungendo da potente strumento per aiutare i medici a fare diagnosi più rapide e accurate. Risorse come The Cancer Imaging Archive (TCIA) forniscono accesso pubblico a tali dati per la ricerca.

Dati di formazione vs. dati di convalida e test

In un tipico progetto di ML, i dati vengono suddivisi in tre gruppi distinti:

• Dati di addestramento: La parte più grande, utilizzata direttamente per addestrare il modello regolandone i parametri. Un addestramento efficace comporta spesso un'attenta considerazione dei suggerimenti per l'addestramento del modello.
• Dati di convalida: Un sottoinsieme separato utilizzato periodicamente durante l'addestramento per valutare le prestazioni del modello su dati che non ha appreso esplicitamente. Questo aiuta a regolare gli iperparametri (ad esempio, il tasso di apprendimento, la dimensione del batch) attraverso processi come l'ottimizzazione degli iperparametri (Wikipedia) e fornisce un avviso precoce contro l'overfitting. Per questa valutazione si utilizza la modalità di validazione.
• Dati di prova: Un set di dati indipendente, non visto durante l'addestramento e la validazione, utilizzato solo dopo che il modello è stato completamente addestrato. Fornisce la valutazione finale e imparziale della capacità di generalizzazione del modello e delle prestazioni previste nel mondo reale. Un test rigoroso del modello è fondamentale prima dell'implementazione.

Mantenere una rigida separazione tra questi set di dati è essenziale per sviluppare modelli affidabili. I modelli più avanzati sono spesso pre-addestrati su grandi dataset di riferimento come COCO o ImageNet, che servono come dati di addestramento estesi. È possibile trovare altri dataset su piattaforme come Google Dataset Search e Kaggle Datasets.