Regolazione dell'iperparametro

Capire gli iperparametri

Gli iperparametri definiscono proprietà di livello superiore del modello, come la sua complessità o la velocità di apprendimento. Esempi comuni sono il tasso di apprendimento utilizzato negli algoritmi di ottimizzazione, la dimensione del lotto che determina quanti campioni vengono elaborati prima di aggiornare i parametri del modello, il numero di strati di una rete neurale o la forza delle tecniche di regolarizzazione. La scelta degli iperparametri ha un impatto significativo sui risultati del modello. Scelte sbagliate possono portare a un underfitting, in cui il modello è troppo semplice per catturare i modelli dei dati, o a un overfitting, in cui il modello apprende troppo bene i dati di addestramento, compreso il rumore, e non riesce a generalizzare.

Perché la regolazione degli iperparametri è importante

La regolazione efficace degli iperparametri è essenziale per costruire modelli ML ad alte prestazioni. Un modello ben regolato raggiunge una migliore accuratezza, una convergenza più rapida durante l'addestramento e una migliore generalizzazione sui dati di prova. Per compiti complessi come il rilevamento di oggetti, si utilizzano modelli come Ultralytics YOLOla ricerca di iperparametri ottimali può migliorare drasticamente metriche di prestazione come la precisione media (mAP) e la velocità di inferenza, che sono fondamentali per le applicazioni che richiedono un'inferenza in tempo reale. L'obiettivo è quello di trovare i compromessi, come il bias-varianza, per trovare il punto di forza per un determinato problema e set di dati.

Tecniche per la regolazione degli iperparametri

Esistono diverse strategie per cercare i migliori valori degli iperparametri:

• Ricerca a griglia: Prova esaustivamente tutte le possibili combinazioni dei valori degli iperparametri specificati. Pur essendo accurata, può essere computazionalmente costosa, soprattutto con molti iperparametri. Per saperne di più sulla Ricerca a griglia.
• Ricerca casuale: Campiona combinazioni di iperparametri in modo casuale da distribuzioni specificate. Spesso è più efficiente della Ricerca a griglia, poiché non sempre si trovano parametri validi su una griglia uniforme. Esplora i dettagli della Ricerca casuale.
• Ottimizzazione bayesiana: Utilizza modelli di probabilità per prevedere quali iperparametri potrebbero dare risultati migliori, concentrando la ricerca su aree promettenti. In genere è più efficiente della ricerca casuale o a griglia. Framework come Optuna forniscono implementazioni.
• Algoritmi evolutivi: Utilizza concetti ispirati all'evoluzione biologica, come la mutazione e la selezione, per perfezionare iterativamente gli iperparametri. Ultralytics YOLOv5 include una guida sull'evoluzione degli iperparametri.

Strumenti come Weights & Biases Sweeps e KerasTuner aiutano ad automatizzare e gestire questi processi di messa a punto.

Regolazione dell'iperparametro e concetti correlati

È importante distinguere la regolazione degli iperparametri dai concetti di ML correlati:

• Parametri del modello vs. iperparametri: I parametri del modello (ad esempio, i pesi in una CNN) vengono appresi dai dati durante l'addestramento. Gli iperparametri (ad esempio, la velocità di apprendimento, il numero di filtri) vengono impostati prima dell'addestramento per configurare il processo di apprendimento.
• Algoritmi di ottimizzazione vs. regolazione degli iperparametri: Gli algoritmi di ottimizzazione (come Adam o SGD) regolano i parametri del modello per minimizzare una funzione di perdita. La messa a punto degli iperparametri trova le impostazioni ottimali per questi algoritmi e per altri aspetti dell'addestramento, tra cui la scelta dell'ottimizzatore o del suo specifico tasso di apprendimento.
• Regolarizzazione e regolazione dell'iperparametro: Le tecniche di regolarizzazione (ad esempio, livelli di dropout, penalità L1/L2) aiutano a prevenire l'overfitting. La forza o il tasso di queste tecniche sono a loro volta iperparametri che devono essere regolati.

Applicazioni del mondo reale

La regolazione dell'iperparametro viene applicata a diversi domini:

1. Analisi di immagini mediche: Quando si addestra un modello Ultralytics YOLO per il rilevamento dei tumori, la messa a punto di iperparametri come il tasso di apprendimento, le impostazioni di aumento dei dati (ad esempio, intervallo di rotazione, regolazioni della luminosità) e le scelte dell'architettura del modello (come la profondità della spina dorsale) è fondamentale per massimizzare la sensibilità e la specificità dell'identificazione dei tumori in scansioni come RM o TAC. Questo garantisce che il modello rilevi in modo affidabile le anomalie, riducendo al minimo i falsi positivi.(Esplora le soluzioni di AI nel settore sanitario).
2. Guida autonoma: Nello sviluppo di sistemi di percezione per veicoli autonomi, la regolazione degli iperparametri ottimizza i modelli di rilevamento degli oggetti per identificare con precisione pedoni, veicoli e segnali stradali in diverse condizioni (giorno, notte, pioggia). La messa a punto di parametri come le soglie di fiducia del rilevamento, le impostazioni della soppressione non massima (NMS) e la risoluzione dell'immagine in ingresso aiuta a bilanciare la velocità di rilevamento e l'accuratezza, fondamentale per le applicazioni critiche per la sicurezza.(Vedi le soluzioni AI nel settore automobilistico).

Regolazione degli iperparametri con Ultralytics

Ultralytics fornisce strumenti per semplificare la regolazione degli iperparametri dei modelli YOLO . Il Ultralytics Tuner classe, documentato nel documento Guida alla regolazione degli iperparametriautomatizza il processo utilizzando algoritmi evolutivi. L'integrazione con piattaforme come Ray Tune offre ulteriori funzionalità per strategie di ricerca distribuite e avanzate, aiutando gli utenti a ottimizzare i loro modelli in modo efficiente per specifici set di dati e attività, utilizzando risorse quali Ultralytics HUB.