Dati di formazione

Cosa sono i dati di allenamento?

Pensa ai dati di addestramento come al libro di testo e agli esercizi di pratica di un modello di intelligenza artificiale. Si tratta di un insieme di informazioni attentamente curate e formattate appositamente per servire da esempi durante la fase di apprendimento. Ad esempio, nei compiti di Computer Vision (CV) come l'Object Detection, i dati di addestramento sono costituiti da immagini o fotogrammi video (le caratteristiche di input) abbinati ad annotazioni (etichette) che specificano la posizione(bounding box) e la classe degli oggetti all'interno di quelle immagini. La creazione di queste etichette è una fase cruciale nota come Etichettatura dei dati. Il modello elabora iterativamente questi dati, confrontando le sue previsioni con le etichette reali e regolando i suoi parametri con tecniche come la retropropagazione e la discesa del gradiente per minimizzare l'errore o la funzione di perdita.

Importanza dei dati di formazione

Le prestazioni e l'affidabilità di un modello di intelligenza artificiale sono direttamente legate alla qualità, alla quantità e alla diversità dei dati di addestramento. Dati rappresentativi e di alta qualità sono essenziali per costruire modelli che raggiungano un'elevata accuratezza e che generalizzino bene agli scenari del mondo reale(Generalizzazione nel ML). Al contrario, dati di addestramento insufficienti, rumorosi o distorti possono portare a problemi significativi come prestazioni scarse, Overfitting (quando il modello si comporta bene con i dati di addestramento ma male con i nuovi dati) o risultati ingiusti e discriminatori dovuti a bias intrinseci del dataset. Affrontare i bias è un aspetto fondamentale dell'etica dell'IA. Pertanto, la raccolta e l'annotazione meticolosa dei dati e la loro preparazione sono fasi cruciali per lo sviluppo di sistemi di IA di successo.

Esempi di dati di formazione in applicazioni reali

I dati di addestramento sono il carburante per innumerevoli applicazioni di IA in vari settori. Ecco due esempi:

1. Veicoli autonomi: Le auto a guida autonoma si basano molto sui dati di addestramento per i sistemi di percezione. Questi dati includono grandi quantità di filmati provenienti da telecamere, sensori LiDAR e radar, meticolosamente etichettati con oggetti come altri veicoli, pedoni, ciclisti, semafori e segnaletica stradale. Modelli come quelli utilizzati nella tecnologia di Waymo vengono addestrati su set di dati come Argoverse per imparare a navigare in modo sicuro in ambienti complessi. Per maggiori dettagli, esplora le soluzioni AI nel settore automobilistico.
2. Analisi del sentimento: Nell'elaborazione del linguaggio naturale (NLP), i modelli di sentiment analysis determinano il tono emotivo del testo. I dati di addestramento sono costituiti da campioni di testo (ad esempio, recensioni di clienti, post sui social media) etichettati con sentimenti come "positivo", "negativo" o "neutro"(Sentiment Analysis - Wikipedia). In questo modo le aziende possono valutare automaticamente l'opinione pubblica o la soddisfazione dei clienti.

Qualità e preparazione dei dati

Garantire l'alta qualità dei dati di formazione è fondamentale e comporta diversi passaggi chiave. La pulizia dei dati (Wikipedia) risolve errori, incongruenze e valori mancanti. La pre-elaborazione dei dati trasforma i dati grezzi in un formato adatto al modello. Tecniche come l'incremento dei dati espandono artificialmente il set di dati creando copie modificate dei dati esistenti (ad esempio ruotando o ritagliando le immagini), il che aiuta a migliorare la robustezza del modello e a ridurre l'overfitting. Anche la comprensione dei dati attraverso l'esplorazione, facilitata da strumenti come Ultralytics Datasets Explorer, è fondamentale prima di iniziare il processo di formazione.

Dati di formazione vs. dati di convalida e test

In un tipico progetto di ML, i dati vengono suddivisi in tre gruppi distinti:

• Dati di addestramento: La parte più grande, utilizzata direttamente per addestrare il modello regolandone i parametri. Un addestramento efficace spesso implica un'attenta considerazione dei suggerimenti per l'addestramento del modello.
• Dati di convalida: Un sottoinsieme separato utilizzato periodicamente durante l'addestramento per valutare le prestazioni del modello su dati che non ha appreso esplicitamente. Questo aiuta a regolare gli iperparametri (ad esempio, il tasso di apprendimento, la dimensione del batch) attraverso processi come l'ottimizzazione degli iperparametri (Wikipedia) e fornisce un avviso precoce contro l'overfitting. Per questa valutazione viene utilizzata la modalità di validazione.
• Dati di prova: Un set di dati indipendente, non visto durante l'addestramento e la validazione, utilizzato solo dopo che il modello è stato completamente addestrato. Forniscono una valutazione finale e imparziale della capacità di generalizzazione del modello e delle prestazioni previste nel mondo reale. Un test rigoroso del modello è fondamentale prima dell'implementazione.

Mantenere una rigida separazione tra questi set di dati è essenziale per sviluppare modelli affidabili e valutarne accuratamente le capacità. Piattaforme come Ultralytics HUB offrono strumenti per gestire efficacemente questi set di dati durante il ciclo di vita del modello. Modelli all'avanguardia come Ultralytics YOLO sono spesso pre-addestrati su grandi dataset di riferimento come COCO o ImageNet, che servono come dati di addestramento estesi.