Regolazione dell'iperparametro

Capire gli iperparametri

Gli iperparametri definiscono proprietà di livello superiore del modello, come la sua complessità o la velocità di apprendimento. Esempi comuni sono il tasso di apprendimento utilizzato negli algoritmi di ottimizzazione, la dimensione del batch che determina quanti campioni vengono elaborati prima di aggiornare i parametri del modello, il numero di livelli di una rete neurale o la forza delle tecniche di regolarizzazione come l'utilizzo di livelli di dropout. La scelta degli iperparametri ha un impatto significativo sui risultati del modello. Scelte sbagliate possono portare a un underfitting, in cui il modello è troppo semplice per catturare i modelli dei dati, o a un overfitting, in cui il modello apprende troppo bene i dati di addestramento, compreso il rumore, e non riesce a generalizzare ai dati di test.

Perché la regolazione degli iperparametri è importante

La regolazione efficace degli iperparametri è essenziale per costruire modelli ML ad alte prestazioni. Un modello ben regolato raggiunge una migliore accuratezza, una convergenza più rapida durante l'addestramento e una migliore generalizzazione su dati non visti. Per compiti complessi come il rilevamento di oggetti, si utilizzano modelli come Ultralytics YOLOla ricerca di iperparametri ottimali può migliorare drasticamente metriche di prestazione come la precisione media (mAP) e la velocità di inferenza, che sono fondamentali per le applicazioni che richiedono un'inferenza in tempo reale. L'obiettivo è quello di trovare i compromessi, come il compromesso bias-varianza, per trovare il punto di forza per un determinato problema e set di dati, spesso valutato con dati di convalida.

Tecniche per la regolazione degli iperparametri

Esistono diverse strategie per cercare i migliori valori degli iperparametri:

• Ricerca a griglia: Prova esaustivamente tutte le possibili combinazioni dei valori degli iperparametri specificati. Semplice ma computazionalmente costoso.
• Ricerca casuale: Campiona combinazioni di iperparametri in modo casuale da distribuzioni specificate. Spesso è più efficiente della ricerca a griglia.
• Ottimizzazione bayesiana: Costruisce un modello probabilistico della funzione obiettivo (ad esempio, l'accuratezza del modello) e lo utilizza per selezionare iperparametri promettenti da valutare successivamente. Strumenti come Optuna lo implementano.
• Algoritmi evolutivi: Utilizza concetti ispirati all'evoluzione biologica, come la mutazione e il crossover, per perfezionare iterativamente popolazioni di set di iperparametri. I modelli Ultralytics YOLO sfruttano questo metodo per l'evoluzione degli iperparametri.

Strumenti come Weights & Biases Sweeps, ClearML, Comete KerasTuner aiutano ad automatizzare e gestire questi processi di ottimizzazione, spesso integrandosi con framework come PyTorch e TensorFlow.

Regolazione dell'iperparametro e concetti correlati

È importante distinguere la regolazione degli iperparametri dai concetti di ML correlati:

• Formazione del modello: La regolazione degli iperparametri stabilisce le condizioni per l'addestramento (ad esempio, il tasso di apprendimento, la dimensione del lotto). L'addestramento del modello è il processo di apprendimento dei parametri del modelloweights and biases) basato sui dati, utilizzando gli iperparametri scelti e un algoritmo di ottimizzazione.
• Algoritmi di ottimizzazione (Adam, SGD): Questi algoritmi aggiornano i parametri del modello durante l'addestramento in base alla funzione di perdita. Gli iperparametri controllano questi algoritmi (ad esempio, il tasso di apprendimento), ma il processo di regolazione è separato dal funzionamento dell'algoritmo.
• Regolarizzazione: Tecniche come la regolarizzazione L1/L2 o il dropout aiutano a prevenire l'overfitting. La forza o il tasso di queste tecniche sono essi stessi iperparametri che devono essere regolati.
• Automated Machine Learning (AutoML): Un campo più ampio che mira ad automatizzare l'intera pipeline di ML, compresa l'ingegnerizzazione delle caratteristiche, la selezione del modello e la regolazione degli iperparametri. L'HPT è spesso un componente chiave dei sistemi AutoML.

Applicazioni del mondo reale

La regolazione dell'iperparametro viene applicata a diversi domini:

• Analisi delle immagini mediche: Quando si addestra un modello per il rilevamento dei tumori, la messa a punto di iperparametri come il programma di apprendimento, l'intensità di incremento dei dati(ad esempio, utilizzando le albumentazioni) e i pesi della funzione di perdita è fondamentale per ottenere un'elevata precisione di rilevamento (misurata da parametri come l'AUC) su specifici set di dati medici. Questo è fondamentale per ottenere soluzioni affidabili di IA in ambito sanitario.
• Veicoli autonomi: I modelli di rilevamento degli oggetti nelle auto a guida autonoma richiedono un'attenta messa a punto. L'ottimizzazione di iperparametri come la risoluzione dell'immagine di ingresso, le soglie di soppressione non massimale (NMS) e le configurazioni dei box di ancoraggio (per i rilevatori basati su ancore) garantisce che il sistema possa rilevare in modo affidabile pedoni, veicoli e ostacoli con una bassa latenza per una navigazione sicura. Questa messa a punto è fondamentale per aziende come Waymo e contribuisce alla solidità delle soluzioni AI nel settore automobilistico.

Regolazione degli iperparametri con Ultralytics

Ultralytics fornisce strumenti per semplificare la regolazione degli iperparametri dei modelli YOLO . Il Ultralytics Tuner classe, documentato nel documento Guida alla regolazione degli iperparametriautomatizza il processo utilizzando algoritmi evolutivi. L'integrazione con piattaforme come Ray Tune offre ulteriori funzionalità per strategie di ricerca distribuite e avanzate, aiutando gli utenti a ottimizzare i loro modelli in modo efficiente per specifici set di dati (ad esempio COCO) e le attività che utilizzano risorse come Ultralytics HUB per il monitoraggio e la gestione degli esperimenti. Di seguito consigli per l'addestramento dei modelli spesso comporta un'efficace regolazione dell'iperparametro.