Adam Optimizer

Adam Nasıl Çalışır?

Adam'ın en önemli yeniliği, her bir parametre için öğrenme oranını uyarlayabilmesidir. Adam, ağdaki tüm ağırlıklar için tek ve sabit bir öğrenme oranı kullanmak yerine, eğitim ilerledikçe ayarlanan bireysel bir öğrenme oranı hesaplar. Bunu, diğer iki optimizasyon yönteminin avantajlarını birleştirerek başarır: RMSProp ve Momentum. Adam iki ana bileşeni takip eder: birinci moment (momentuma benzer şekilde gradyanların ortalaması) ve ikinci moment (gradyanların merkezlenmemiş varyansı). Bu kombinasyon, tutarlı gradyanlara sahip parametreler için daha büyük adımlar ve gürültülü veya seyrek gradyanlara sahip olanlar için daha küçük adımlar atarak daha bilinçli güncellemeler yapmasını sağlar. Yöntem, Kingma ve Ba'nın orijinal Adam araştırma makalesinde ayrıntılı olarak açıklanmıştır.

Adam Diğer Optimizatörlere Karşı

Güçlü yönlerini anlamak için Adam'ı diğer yaygın optimize edicilerle karşılaştırmak faydalı olacaktır.

• Adam vs Stokastik Gradyan İnişi (SGD): SGD temel bir optimizasyon algoritması olmakla birlikte, tüm parametre güncellemeleri için geçerli olan sabit bir öğrenme oranı kullanır. Bu, yakınsamasının yavaş olmasına veya kayıp fonksiyonunun optimal olmayan "vadilerinde" takılıp kalmasına neden olabilir. Adam, uyarlanabilir öğrenme oranlarıyla genellikle kayıp manzarasında daha verimli bir şekilde gezinir ve çok daha hızlı yakınsar. Bununla birlikte, bazı araştırmalar SGD ile eğitilen modellerin biraz daha iyi genelleme yapabileceğini ve belirli senaryolarda aşırı uyumdan daha etkili bir şekilde kaçınabileceğini göstermektedir. Model eğitimi ipuçları kılavuzlarında açıklandığı gibi, seçim genellikle ampirik test gerektirir.
• AdamW: Popüler ve etkili bir varyant AdamW'dir (Adam with Decoupled Weight Decay). Bir düzenleme tekniği olan ağırlık azaltmanın uygulanma şeklini değiştirerek bunu gradyan güncelleme adımından ayırır. Bu genellikle gelişmiş model performansı ve daha iyi genelleme sağlar. PyTorch ve TensorFlow gibi büyük çerçevelerde uygulamaları mevcuttur.

Gerçek Dünya Uygulamaları

Adam'ın verimliliği ve sağlamlığı onu çok çeşitli uygulamalar için uygun hale getirir.

1. Büyük Dil Modellerinin (LLM'ler) Eğitimi: Adam ve türevleri Doğal Dil İşleme (NLP) alanında büyük modellerin eğitimi için çok önemlidir. GPT-4 veya Hugging Face gibi modeller için Adam'ın verimliliği, Wikipedia gibi kaynaklardan gelen muazzam metin veri kümelerini işlemeyi ve karmaşık dil kalıplarını öğrenmeyi mümkün kılar. Karmaşık kayıp manzaralarında gezinme yeteneği başarı için çok önemlidir.
2. Görüntü Sınıflandırma ve Nesne Algılama: Bilgisayarla görmede (CV) Adam, ImageNet veya COCO gibi büyük görüntü veri kümeleri üzerinde derin evrişimli sinir ağlarını (CNN'ler) eğitmek için yaygın olarak kullanılmaktadır. Görüntü sınıflandırma ve nesne alg ılama modellerinin hızlı bir şekilde yakınsamasına yardımcı olarak geliştirme ve hiperparametre ayarlama döngülerini hızlandırır.

Ultralytics YOLO'da Kullanım

Ultralytics ekosisteminde, Adam ve varyantı AdamW, Ultralytics YOLO modellerini eğitmek için mevcut optimize edicilerdir. Adam'ın uyarlanabilir öğrenme oranlarından yararlanmak, nesne algılama, örnek segmentasyonu veya YOLO11 veya YOLOv10 gibi poz tahmin modellerinin eğitimi sırasında yakınsamayı hızlandırabilir. SGD, potansiyel olarak daha iyi nihai genelleme nedeniyle bazı YOLO modelleri için genellikle varsayılan ve önerilen optimize edici olsa da Adam, özellikle ilk denemeler sırasında yararlı olan sağlam bir alternatif sunar. Optimize ediciyi ve diğer eğitim ayarlarını kolayca yapılandırabilirsiniz. Ultralytics HUB gibi araçlar, kullanıcıların Adam da dahil olmak üzere çeşitli optimize ediciler kullanarak modelleri yerel olarak veya bulut eğitimi yoluyla eğitmelerine olanak tanıyarak süreci kolaylaştırır. PyTorch ve TensorFlow gibi çerçeveler, Ultralytics çerçevesinde kullanılan Adam'ın standart uygulamalarını sağlar.