Der Adam-Optimierer ist ein beliebter und effektiver Optimierungsalgorithmus, der im Deep Learning (DL) und im maschinellen Lernen (ML) weit verbreitet ist. Adam steht für Adaptive Moment Estimation und kombiniert die Vorteile von zwei anderen Erweiterungen des stochastischen Gradientenabstiegs (SGD): Seine Hauptstärke liegt in seiner Fähigkeit, adaptive Lernraten für jeden Parameter zu berechnen, wodurch er sich gut für Probleme mit großen Datensätzen, hochdimensionalen Parameterräumen oder verrauschten Gradienten eignet, wie sie in Bereichen wie Computer Vision (CV) und Natural Language Processing (NLP) üblich sind.
Wie Adam funktioniert
Adam aktualisiert die Modellparameter während des Trainings iterativ anhand der Informationen aus den vergangenen Gradienten. Er behält zwei gleitende Durchschnitte für jeden Parameter bei: eine Schätzung des ersten Moments (der Mittelwert der Gradienten) und eine Schätzung des zweiten Moments (die unzentrierte Varianz der Gradienten). Diese Momente helfen dabei, die Lernrate für jeden Parameter individuell anzupassen. Parameter, die große oder häufige Gradientenaktualisierungen erhalten, bekommen kleinere Lernraten, während die Parameter mit kleinen oder seltenen Aktualisierungen größere Lernraten erhalten. Dieser adaptive Charakter führt oft zu einer schnelleren Konvergenz im Vergleich zu Standard-SGD. Der Algorithmus berücksichtigt auch die Dynamik, indem er den gleitenden Durchschnitt des Gradienten verwendet, was dazu beiträgt, den Fortschritt entlang relevanter Richtungen zu beschleunigen und Oszillationen zu dämpfen. Weitere Details findest du in der Originalarbeit von Adam.
Vergleich mit anderen Optimierungsalgorithmen
Adam ist zwar eine leistungsstarke Standardwahl, aber es ist nützlich, seine Beziehung zu anderen Optimierern zu verstehen:
- Stochastischer Gradientenabstieg (SGD): Der grundlegendste Optimierer. Im Gegensatz zu Adam verwendet der Standard-SGD eine einzige, feste Lernrate für alle Parameter, obwohl es auch Varianten wie SGD mit Momentum gibt. Adam konvergiert in der Praxis oft schneller, vor allem zu Beginn des Trainings, aber einige Forschungsergebnisse deuten darauf hin, dass SGD bei bestimmten Aufgaben eine bessere Generalisierung erreichen kann.
- AdaGrad: Passt die Lernrate auf der Grundlage der Summe der quadrierten vergangenen Gradienten an, aber die Lernrate kann im Laufe der Zeit unendlich klein werden, was das Lernen zum Stillstand bringen kann.
- RMSProp: Ähnlich wie AdaGrad, aber mit einem exponentiell abklingenden Durchschnitt der quadratischen Gradienten, um zu verhindern, dass die Lernrate zu aggressiv schrumpft. Adam baut auf den Ideen von RMSProp auf.
Anwendungen in der realen Welt
Der Adam-Optimierer wird beim Training einer Vielzahl von KI-Modellen eingesetzt:
Verwendung in Ultralytics YOLO
Im Ultralytics sind Adam und seine Variante AdamW als Optimierer für das Training von Ultralytics YOLO verfügbar. Die Nutzung der adaptiven Lernraten von Adam kann die Konvergenz beim Training von Objekterkennungs-, Instanzsegmentierungs- oder Posenschätzungsmodellen beschleunigen. Während SGD oft der Standardoptimierer für YOLO ist und empfohlen wird, weil er potenziell eine bessere Generalisierung ermöglicht, bietet Adam eine robuste Alternative, die in bestimmten Szenarien oder bei ersten Experimenten besonders nützlich ist. Du kannst den Optimierer und andere Trainingseinstellungen einfach konfigurieren. Tools wie Ultralytics HUB vereinfachen den Prozess und ermöglichen es den Nutzern, Modelle mit verschiedenen Optimierern, einschließlich Adam, entweder lokal oder über Cloud-Training zu trainieren. Um die Leistung zu optimieren, solltest du Techniken wie das Hyperparameter-Tuning in Betracht ziehen. Frameworks wie PyTorch und TensorFlow bieten Implementierungen von Adam.
DE
EN
ZH
KO
JA
RU
FR
ES
PT
IT
AR
TR
VI
