Discesa stocastica del gradiente (SGD)

Come funziona la discesa stocastica del gradiente

L'idea alla base di SGD è quella di approssimare il vero gradiente della funzione di perdita, che viene calcolato sull'intero set di dati, utilizzando il gradiente della perdita per un singolo campione. Sebbene il gradiente di un singolo campione sia una stima rumorosa, è computazionalmente poco costoso e, in media, punta nella giusta direzione. Il processo prevede la ripetizione di un semplice ciclo in due fasi per ogni campione di allenamento:

1. Calcolo del gradiente: Calcolo del gradiente della funzione di perdita rispetto ai parametri del modello per un singolo esempio di allenamento.
2. Aggiornare i parametri: Regola i parametri nella direzione opposta al gradiente, scalato da un tasso di apprendimento. In questo modo il modello si sposta verso uno stato con un errore più basso per quel campione specifico.

Questo ciclo viene ripetuto per molti passaggi sull'intero set di dati, noti come epoche, migliorando gradualmente le prestazioni del modello. L'efficienza dell'SGD lo ha reso una pietra miliare del moderno deep learning (DL) ed è supportato da tutti i principali framework come PyTorch e TensorFlow.

Sgd rispetto ad altri ottimizzatori

L'SGD è uno dei diversi metodi di ottimizzazione basati sul gradiente, ciascuno con i propri compromessi.

• Batch Gradient Descent: Questo metodo calcola il gradiente utilizzando l'intero set di dati di addestramento. Fornisce un percorso stabile e diretto verso il minimo, ma è estremamente lento e richiede molta memoria per grandi insiemi di dati, il che lo rende poco pratico per la maggior parte delle applicazioni moderne.
• Mini-Batch Gradient Descent: Si tratta di un compromesso tra Batch GD e SGD. Aggiorna i parametri utilizzando un piccolo sottoinsieme casuale (un "mini-batch") dei dati. Bilancia la stabilità del Batch GD con l'efficienza dell'SGD ed è l'approccio più comune utilizzato nella pratica.
• Ottimizzatore Adam: Adam è un algoritmo di ottimizzazione adattivo che mantiene un tasso di apprendimento separato per ogni parametro e lo regola man mano che l'apprendimento procede. Spesso converge più velocemente di SGD, ma SGD può talvolta trovare un minimo migliore e offrire una migliore generalizzazione, aiutando a prevenire l'overfitting.

Applicazioni del mondo reale

L'SGD e le sue varianti sono fondamentali per l'addestramento di un'ampia gamma di modelli di intelligenza artificiale in diversi ambiti.

• Formazione per il rilevamento di oggetti in tempo reale: Per modelli come Ultralytics YOLO, progettati per l'inferenza in tempo reale, l'addestramento deve essere efficiente. SGD consente agli sviluppatori di addestrare questi modelli su dataset di immagini di grandi dimensioni come COCO o su dataset personalizzati gestiti tramite piattaforme come Ultralytics HUB. Gli aggiornamenti rapidi consentono una convergenza più veloce rispetto a Batch GD, fondamentale per iterare rapidamente durante lo sviluppo del modello e la regolazione degli iperparametri. Questa efficienza supporta applicazioni in campi come i veicoli autonomi e la robotica.
• Formazione di modelli linguistici di grandi dimensioni (LLM): L'addestramento di modelli per l'elaborazione del linguaggio naturale (NLP) spesso comporta l'utilizzo di enormi insiemi di dati testuali. SGD e le sue varianti sono essenziali per iterare questi dati in modo efficiente, consentendo a modelli come GPT-4 o quelli di Hugging Face di apprendere grammatica, contesto e semantica. La natura stocastica aiuta a evitare i minimi locali nel complesso panorama delle perdite, una sfida comune nell'addestramento di reti neurali di grandi dimensioni. Questo processo è fondamentale per compiti come la traduzione automatica e l'analisi del sentimento.