Descente stochastique de gradient (SGD)

Pertinence de l'apprentissage automatique

La SGD est la pierre angulaire de la formation des modèles d'apprentissage automatique à grande échelle, en particulier les réseaux neuronaux (NN) complexes qui alimentent de nombreuses applications modernes d'IA. Son efficacité le rend indispensable lorsqu'on travaille avec des ensembles de données qui sont trop grands pour tenir en mémoire ou qui prendraient trop de temps à traiter en utilisant la descente de gradient par lots traditionnelle. Des modèles comme Ultralytics YOLO utilisent souvent le SGD ou ses variantes pendant le processus de formation pour apprendre des modèles pour des tâches telles que la détection d'objets, la classification d'images et la segmentation d'images. Les principaux cadres d'apprentissage profond tels que PyTorch et TensorFlow fournissent des implémentations robustes de SGD, soulignant son rôle fondamental dans l'écosystème de l'IA.

Concepts clés

Pour comprendre les SGD, il faut avoir quelques idées de base :

• Fonction de perte: Une mesure du degré de correspondance entre les prédictions du modèle et les valeurs cibles réelles. SGD vise à minimiser cette fonction.
• Taux d'apprentissage: Un hyperparamètre qui contrôle la taille du pas effectué lors de chaque mise à jour des paramètres. Il est essentiel de trouver un bon taux d'apprentissage pour que la formation soit efficace. Les programmes de taux d'apprentissage sont souvent utilisés pour l'ajuster pendant la formation.
• Taille du lot: Le nombre d'échantillons d'apprentissage utilisés dans une itération pour estimer le gradient. Dans le SGD pur, la taille du lot est de 1. Lorsqu'on utilise de petits sous-ensembles, on parle souvent de descente de gradient par mini-lots.
• Données de formation: L'ensemble de données utilisé pour former le modèle. SGD traite ces données échantillon par échantillon ou par mini-lots. Il est essentiel de disposer de données de haute qualité, ce qui nécessite souvent une collecte et une annotation minutieuses des données.
• Gradient : Un vecteur indiquant la direction de l'augmentation la plus abrupte de la fonction de perte. SGD déplace les paramètres dans la direction opposée au gradient calculé à partir d'un échantillon ou d'un mini-lot.
• Époque : Un passage complet sur l'ensemble des données d'apprentissage. La formation comporte généralement plusieurs époques.

Différences par rapport aux concepts apparentés

SGD est un algorithme d'optimisation parmi d'autres, et il est important de le distinguer des autres :

• Descente de gradient par lots (BGD) : Calcule le gradient en utilisant l'ensemble des données d'apprentissage à chaque étape. Cette méthode permet d'obtenir une estimation précise du gradient, mais elle est coûteuse en termes de calcul et de mémoire pour les grands ensembles de données. Elle conduit à une trajectoire de convergence plus douce que les mises à jour bruyantes de SGD.
• Descente de gradient par mini-lots : Un compromis entre BGD et SGD. Elle calcule le gradient en utilisant un petit sous-ensemble aléatoire (mini-batch) des données. Cela permet d'équilibrer la précision de la BGD avec l'efficacité de la SGD et c'est l'approche la plus courante dans la pratique. Les performances peuvent dépendre de la taille du lot.
• Adam Optimizer: Un algorithme d'optimisation du taux d'apprentissage adaptatif qui calcule des taux d'apprentissage adaptatifs individuels pour différents paramètres. Il converge souvent plus rapidement que le SGD standard mais peut parfois se généraliser moins efficacement, comme l'explique une recherche comme "The Marginal Value of Adaptive Gradient Methods in Machine Learning" (La valeur marginale des méthodes de gradient adaptatif dans l'apprentissage automatique). Il existe de nombreuses variantes de la descente de gradient en plus de celles-ci.

Applications dans le monde réel

L'efficacité du SGD permet de l'utiliser dans de nombreuses applications d'intelligence artificielle à grande échelle :