L'optimiseur Adam est un algorithme d'optimisation populaire et efficace très utilisé dans l'apprentissage profond (DL) et l'apprentissage automatique (ML). Désignant l'estimation adaptative du moment, Adam combine les avantages de deux autres extensions de la descente de gradient stochastique (SGD): AdaGrad et RMSProp. Sa principale force réside dans sa capacité à calculer des taux d'apprentissage adaptatifs pour chaque paramètre, ce qui le rend bien adapté aux problèmes avec de grands ensembles de données, des espaces de paramètres à haute dimension ou des gradients bruyants, courants dans des domaines tels que la vision par ordinateur (VA) et le traitement du langage naturel (NLP).
Comparaison avec d'autres algorithmes d'optimisation
Bien qu'Adam soit un choix par défaut puissant, il est utile de comprendre sa relation avec d'autres optimiseurs :
- Descente stochastique de gradient (SGD): L'optimiseur le plus basique. Contrairement à Adam, SGD standard utilise un taux d'apprentissage unique et fixe pour tous les paramètres, bien qu'il existe des variantes comme SGD avec élan. Adam converge souvent plus rapidement dans la pratique, en particulier au début de la formation, mais certaines recherches suggèrent que SGD peut parfois atteindre une meilleure généralisation sur certaines tâches.
- AdaGrad : adapte les taux d'apprentissage en fonction de la somme des carrés des gradients passés, mais le taux d'apprentissage peut devenir infiniment petit au fil du temps, ce qui risque d'interrompre l'apprentissage.
- RMSProp : Semblable à AdaGrad, mais utilise une moyenne des gradients au carré qui décroît de façon exponentielle, ce qui empêche le taux d'apprentissage de diminuer de façon trop agressive. Adam s'appuie sur les idées de RMSProp.
Applications dans le monde réel
L'optimiseur Adam est utilisé pour former un grand nombre de modèles d'intelligence artificielle :
Utilisation en Ultralytics YOLO
Dans l'écosystème Ultralytics , Adam et sa variante AdamW sont des optimiseurs disponibles pour l'entraînement des modèlesYOLO 'Ultralytics . L'exploitation des taux d'apprentissage adaptatifs d'Adam peut accélérer la convergence pendant l'entraînement des modèles de détection d'objets, de segmentation d'instances ou d'estimation de la pose. Bien que SGD soit souvent l'optimiseur par défaut et recommandé pour les modèles YOLO en raison d'une généralisation finale potentiellement meilleure, Adam offre une alternative robuste, particulièrement utile dans certains scénarios ou lors de l'expérimentation initiale. Tu peux configurer l'optimiseur et d'autres paramètres d'entraînement facilement. Des outils comme Ultralytics HUB rationalisent le processus, en permettant aux utilisateurs de former des modèles à l'aide de divers optimiseurs, dont Adam, soit localement, soit via la formation dans le cloud. Pour optimiser les performances, considère des techniques comme le réglage des hyperparamètres. Des outils comme PyTorch et TensorFlow fournissent des implémentations d'Adam.
FR
EN
ZH
KO
JA
RU
DE
ES
PT
IT
AR
TR
VI
Comment fonctionne Adam
Adam met à jour les paramètres du modèle de façon itérative pendant l'apprentissage en utilisant les informations des gradients passés. Il maintient deux moyennes mobiles pour chaque paramètre : une estimation du premier moment (la moyenne des gradients) et une estimation du deuxième moment (la variance non centrée des gradients). Ces moments permettent d'adapter le taux d'apprentissage individuellement pour chaque paramètre. Les paramètres qui reçoivent des mises à jour de gradient importantes ou fréquentes ont des taux d'apprentissage plus faibles, tandis que ceux qui reçoivent des mises à jour petites ou peu fréquentes ont des taux d'apprentissage plus importants. Cette nature adaptative conduit souvent à une convergence plus rapide par rapport à l'algorithme SGD standard. L'algorithme intègre également le momentum en utilisant la moyenne mobile du gradient, ce qui permet d'accélérer la progression le long des directions pertinentes et d'amortir les oscillations. Tu trouveras plus de détails dans l'article original d'Adam.