Lo Stochastic Gradient Descent, comunemente noto come SGD, è un algoritmo di ottimizzazione popolare ed efficiente molto utilizzato nel Machine Learning (ML) e in particolare nel Deep Learning (DL). Si tratta di una variante dell'algoritmo di discesa del gradiente standard, ma è specificamente progettato per garantire velocità ed efficienza quando si tratta di insiemi di dati molto grandi. Invece di calcolare il gradiente (la direzione di discesa più ripida per la funzione di perdita) utilizzando l'intero set di dati in ogni fase, SGD approssima il gradiente sulla base di un singolo campione di dati selezionato in modo casuale o di un piccolo sottoinsieme chiamato mini-batch. Questo approccio riduce significativamente il costo computazionale e i requisiti di memoria, rendendo possibile l'addestramento di modelli complessi su enormi quantità di dati presenti in campi come la computer vision.
Concetti chiave
La comprensione dell'SGD implica alcune idee fondamentali:
- Funzione di perdita: Una misura di quanto le previsioni del modello corrispondano ai valori reali dell'obiettivo. L'SGD mira a minimizzare questa funzione.
- Velocità di apprendimento: È un iperparametro che controlla la dimensione del passo durante l'aggiornamento di ogni parametro. Trovare un buon tasso di apprendimento è fondamentale per una formazione efficace. I programmi di apprendimento sono spesso utilizzati per regolare il tasso di apprendimento durante l'addestramento.
- Dimensione del lotto: Il numero di campioni di allenamento utilizzati in un'iterazione per stimare il gradiente. Nell'SGD puro, la dimensione del batch è 1. Quando si utilizzano sottoinsiemi piccoli, viene spesso chiamato Mini-batch Gradient Descent.
- Dati di addestramento: Il set di dati utilizzato per addestrare il modello. SGD elabora questi dati campione per campione o in mini-lotti. I dati di alta qualità sono essenziali e spesso richiedono un'attenta raccolta e annotazione dei dati.
- Gradiente: Un vettore che indica la direzione dell'aumento più ripido della funzione di perdita. SGD sposta i parametri nella direzione opposta del gradiente calcolato da un campione o da un mini-batch.
- Epoca: Un passaggio completo attraverso l'intero set di dati di addestramento. L'addestramento in genere prevede più epoche.
Differenze rispetto ai concetti correlati
L'SGD è uno dei tanti algoritmi di ottimizzazione ed è importante distinguerlo dagli altri:
- Batch Gradient Descent (BGD): Calcola il gradiente utilizzando l'intero set di dati di allenamento in ogni fase. Questo metodo fornisce una stima accurata del gradiente, ma è computazionalmente costoso e richiede molta memoria per i dataset di grandi dimensioni. Il percorso di convergenza è più omogeneo rispetto agli aggiornamenti rumorosi di SGD.
- Mini-batch Gradient Descent: Un compromesso tra BGD e SGD. Calcola il gradiente utilizzando un piccolo sottoinsieme casuale (mini-batch) dei dati. Questo bilancia l'accuratezza del BGD con l'efficienza dell'SGD ed è l'approccio più comune nella pratica. Le prestazioni possono dipendere dalla dimensione del lotto.
- Adam Optimizer: Un algoritmo di ottimizzazione del tasso di apprendimento adattivo che calcola tassi di apprendimento adattivi individuali per diversi parametri. Spesso converge più velocemente dell'SGD standard, ma a volte può generalizzare in modo meno efficace, come discusso in ricerche come "The Marginal Value of Adaptive Gradient Methods in Machine Learning". Esistono molte varianti di Gradient Descent oltre a queste.
Applicazioni del mondo reale
L'efficienza dell'SGD ne consente l'utilizzo in numerose applicazioni di AI su larga scala:
IT
EN
ZH
KO
JA
RU
DE
FR
ES
PT
AR
TR
VI
