Regolazione dell'iperparametro

Regolazione dell'iperparametro e concetti correlati

È importante differenziare la regolazione degli iperparametri da altri concetti chiave del ML:

• Algoritmo di ottimizzazione: Un algoritmo di ottimizzazione, come Adam o Stochastic Gradient Descent (SGD), è il motore che regola i parametri interni del modello (pesi e bias) durante l'addestramento per minimizzare la funzione di perdita. La regolazione degli iperparametri, invece, comporta la selezione delle migliori impostazioni esterne, che possono includere anche la scelta dell'algoritmo di ottimizzazione stesso.
• Ricerca dell'architettura neurale (NAS): Mentre la regolazione degli iperparametri ottimizza le impostazioni per una determinata struttura del modello, il NAS automatizza la progettazione dell'architettura del modello stesso, come la determinazione del numero e del tipo di strati. Entrambe sono forme di Automated Machine Learning (AutoML) e vengono spesso utilizzate insieme per costruire il miglior modello possibile.
• Parametri del modello: Sono le variabili interne di un modello, come i pesi e le polarizzazioni di una rete neurale, che vengono apprese dai dati di addestramento attraverso la retropropagazione. Gli iperparametri sono le impostazioni di livello superiore che regolano l'apprendimento di questi parametri.

Metodi di regolazione e iperparametri comuni

I professionisti utilizzano diverse strategie per trovare i migliori valori degli iperparametri. I metodi più comuni includono la ricerca a griglia, che prova in modo esaustivo ogni combinazione di valori specificati, la ricerca casuale, che campiona le combinazioni in modo casuale, e metodi più avanzati come l'ottimizzazione bayesiana e gli algoritmi evolutivi.

Alcuni degli iperparametri sintonizzati più frequentemente includono:

• Tasso di apprendimento: Controlla la quantità di aggiustamenti dei pesi del modello rispetto al gradiente di perdita.
• Dimensione del lotto: Il numero di esempi di addestramento utilizzati in un'iterazione.
• Numero di epoche: il numero di volte in cui l'intero set di dati di allenamento viene passato attraverso il modello.
• Intensitàdi incremento dei dati: Il grado di trasformazione applicato ai dati di addestramento, come la rotazione, il ridimensionamento o il cambiamento di colore. La libreria Albumentations è uno strumento popolare per questo scopo.

Applicazioni del mondo reale

La messa a punto degli iperparametri viene applicata a vari domini per ottenere prestazioni di punta:

• Analisi delle immagini mediche: Quando si addestra un modello per il rilevamento dei tumori, la messa a punto di iperparametri come il programma del tasso di apprendimento, le impostazioni di incremento dei dati e i pesi della funzione di perdita è fondamentale per ottenere un'elevata precisione di rilevamento su specifici set di dati medici. Questo aspetto è fondamentale per soluzioni affidabili di IA in ambito sanitario ed è oggetto di ricerche in corso.
• Veicoli autonomi: I modelli di rilevamento degli oggetti nelle auto a guida autonoma richiedono un'attenta messa a punto. L'ottimizzazione di iperparametri come la risoluzione dell'immagine di ingresso, le soglie di soppressione non massimale (NMS) e le configurazioni delle caselle di ancoraggio garantisce che il sistema possa rilevare in modo affidabile pedoni e ostacoli con una bassa latenza per una navigazione sicura. Questa messa a punto è fondamentale per aziende come Waymo e contribuisce a soluzioni robuste di intelligenza artificiale nel settore automobilistico.

Regolazione degli iperparametri con Ultralytics

Ultralytics fornisce strumenti per semplificare la messa a punto degli iperparametri per Ultralitici YOLO modelli. Il Ultralitica Tuner classe, documentato nel documento Guida alla regolazione degli iperparametriautomatizza il processo utilizzando algoritmi evolutivi. Integrazione con piattaforme come Ray Tune offre ulteriori funzionalità per strategie di ricerca distribuite e avanzate, aiutando gli utenti a ottimizzare i loro modelli in modo efficiente per specifici set di dati (ad esempio COCO) e le attività. Gli utenti possono sfruttare piattaforme come HUB Ultralitico per una tracciabilità e una gestione semplificata degli esperimenti, che spesso è una parte fondamentale per seguire le best practice per la gestione degli esperimenti. formazione del modello. Librerie open-source popolari come Optuna e Iperottica sono ampiamente utilizzati nella comunità ML a questo scopo.