Adam Optimizer

Adaptive Moment Estimation (Uyarlanabilir Moment Tahmini) kısaltması olan Adam , derin öğrenme modellerini eğitmek için yaygın olarak kullanılan sofistike bir optimizasyon algoritmasıdır. Stokastik gradyan inişinin (SGD) diğer iki popüler uzantısının avantajlarını birleştirerek bu alanda devrim yaratmıştır: Adaptive Gradient Algorithm (AdaGrad) ve Root Mean Square Propagation (RMSProp). Gradyanların birinci ve ikinci momentlerinin tahminlerinden farklı parametreler için bireysel uyarlanabilir öğrenme oranlarını hesaplayarak, Adam sinir ağlarının geleneksel yöntemlere göre önemli ölçüde daha hızlı yakınsama sağlamasına Adam . Sağlamlığı ve minimum ayar gereksinimleri, onu yeni bir makine öğrenimi (ML) projesi başlatan birçok uygulayıcı için varsayılan seçim haline getirir.

Adam Nasıl Çalışır?

Temelinde, bir modeli eğitmek, modelin tahminleri ile gerçek veriler arasındaki farkı ölçen kayıp fonksiyonunu en aza indirmeyi içerir. Standart algoritmalar genellikle sabit bir adım boyutu (öğrenme oranı) kullanarak "kayıp manzarasını" minimum hataya doğru indirir. Ancak, bu manzara genellikle karmaşıktır ve daha basit algoritmaları tuzağa düşürebilecek vadiler ve platolar içerir.

Adam , her parametre için iki tarihsel tampon tutarak bu sorunu Adam :

1. Momentum (Birinci Moment): Bir tepeden aşağı yuvarlanan ağır bir top gibi, bu, ilgili yöndeki hızı korumak için geçmiş eğimlerin hareketli ortalamasını izler. .
2. Varyans (İkinci Moment): Bu, öğrenme oranını ölçeklendiren kare gradyanların hareketli ortalamasını izler. öğrenme oranı.

Bu kombinasyon, optimize edicinin düz alanlarda daha büyük adımlar atmasına ve dik veya gürültülü alanlarda daha küçük, daha temkinli adımlar atmasına olanak tanır. Spesifik mekanizmalar, Kingma ve Ba tarafından yazılan temel Adam makalesinde ayrıntılı olarak açıklanmıştır. Bu makale, çeşitli derin öğrenme (DL) görevlerinde deneyimsel üstünlüğünü kanıtlamıştır.

Gerçek Dünya Uygulamaları

Adam ın çok yönlülüğü, yapay zeka (AI) alanındaki neredeyse tüm sektörlerde benimsenmesine yol açmıştır. Yapay zeka (AI).

• Doğal Dil İşleme (NLP): Generative Pre-trained Transformers (GPT) gibi büyük dil modelleri, eğitim için büyük ölçüde Adam veya onun varyantı AdamW) algoritmasına dayanır. Algoritma, geniş kelime dağarcığı ve büyük veri kümeleriyle ilişkili seyrek gradyanları verimli bir şekilde işleyerek, güçlü sohbet robotları ve çeviri sistemlerinin oluşturulmasını sağlar.
• Sağlık Hizmetlerinde Bilgisayar Görme: Tıbbi görüntü analizinde modeller, MRI taramalarında tümörler gibi ince anomalileri detect etmelidir. Adam evrişimli sinir ağlarının (CNN) yüksek doğruluklu çözümlere hızlı bir şekilde yakınsamasını Adam . Bu, sağlık hizmetlerinde yapay zeka için tanı araçları geliştirirken çok önemlidir.

Adam . SGD

Adam genellikle daha hızlı yakınsama Adam da, bunu Stokastik Gradyan İndirgeme (SGD) ile ayırt etmek önemlidir. SGD , sabit bir öğrenme oranı kullanarak model ağırlıklarını SGD ve en son teknolojiye sahip nesne algılama modellerinin eğitiminin son aşamalarında sık sık tercih edilir, çünkü bazen test verilerinde biraz daha iyi genelleme (nihai doğruluk) sağlayabilir.

Ancak Adam "uyarlanabilir" Adam , yani öğrenme oranının ayarını otomatik olarak yapar. Bu, SGD ayarlanmasının zor SGD ilk deneyler ve karmaşık mimariler için çok daha kullanıcı dostu olmasını sağlar. Ultralytics deneyleri yöneten kullanıcılar için, bu optimizörler arasında geçiş yaparak performansı karşılaştırmak, genellikle hiperparametre ayarlamada önemli bir adımdır .

Ultralytics ile Uygulama

PyTorch gibi modern çerçeveler PyTorch ve Ultralytics kütüphanesi Adam kullanmayı Adam . Popüler bir varyant olan AdamW (Adam Weight Decay) adlı popüler bir varyantı, orijinal Adam düzenleme sorunlarını giderdiği için sıklıkla önerilmektedir. Bu, AdamW istikrardan yararlanan YOLO26 gibi en yeni mimariler için özellikle etkilidir. .

Aşağıdaki örnek, AdamW kullanarak bir YOLO26 modelini nasıl eğitebileceğinizi göstermektedir:

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Daha derin teorik temellerle ilgilenen geliştiriciler için, Stanford CS231n Optimizasyon Notları gibi kaynaklar, Adam RMSProp ve AdaGrad gibi diğer algoritmalarla Adam nasıl Adam mükemmel bir şekilde görselleştirir. Ayrıca, PyTorch Belgeleri, özelleştirme için kullanılabilen argümanlar ve uygulama özellikleri hakkında teknik ayrıntılar sunar.