Adam optimizer'ın uyarlanabilir öğrenme oranları, momentum ve yapay zekadaki gerçek dünya uygulamalarıyla verimli sinir ağı eğitimini nasıl desteklediğini öğrenin.
Adam optimize edici, derin öğrenme (DL) ve makine öğreniminde (ML) yaygın olarak kullanılan popüler ve etkili bir optimizasyon algoritmasıdır. Uyarlanabilir Moment Tahmini anlamına gelen Adam, stokastik gradyan inişinin (SGD) diğer iki uzantısının avantajlarını birleştirir: AdaGrad ve RMSProp. Birincil gücü, her parametre için uyarlanabilir öğrenme oranlarını hesaplama yeteneğinde yatmaktadır, bu da onu bilgisayarla görme (CV) ve doğal dil işleme (NLP) gibi alanlarda yaygın olan büyük veri kümeleri, yüksek boyutlu parametre uzayları veya gürültülü gradyanlarla ilgili problemler için çok uygun hale getirir.
Adam, geçmiş gradyanlardan gelen bilgileri kullanarak eğitim sırasında model parametrelerini yinelemeli olarak günceller. Her parametre için iki hareketli ortalama tutar: birinci momentin bir tahmini (gradyanların ortalaması) ve ikinci momentin bir tahmini (gradyanların merkezlenmemiş varyansı). Bu momentler, öğrenme hızının her parametre için ayrı ayrı uyarlanmasına yardımcı olur. Büyük veya sık gradyan güncellemeleri alan parametreler daha küçük öğrenme oranlarına sahip olurken, küçük veya seyrek güncellemeleri olanlar daha büyük öğrenme oranlarına sahip olur. Bu uyarlanabilir yapı, standart SGD'ye kıyasla genellikle daha hızlı yakınsamaya yol açar. Algoritma ayrıca gradyanın hareketli ortalamasını kullanarak momentumu da içerir, bu da ilgili yönler boyunca ilerlemeyi hızlandırmaya yardımcı olur ve salınımları azaltır. Daha fazla ayrıntı orijinal Adam makalesinde bulunabilir.
Adam güçlü bir varsayılan seçim olsa da, diğer optimize edicilerle olan ilişkisini anlamak faydalıdır:
Adam optimizer, çok çeşitli yapay zeka modellerinin eğitiminde kullanılmaktadır:
Bilgisayarla görmede Adam, Evrişimsel Sinir Ağlarını (CNN'ler) eğitmek için sıklıkla kullanılır. Örneğin, ImageNet gibi büyük veri kümelerinde görüntü sınıflandırma modellerini eğitmek veya karmaşık nesne algılama sistemleri geliştirmek, Adam'ın milyonlarca parametreyi işleme ve yüksek doğruluk elde etme verimliliğinden yararlanır.
Adam, BERT ve GPT varyantları gibi büyük dil modellerini (LLM'ler) eğitmek için standart bir optimize edicidir. Makine çevirisi, metin özetleme veya duygu analizi gibi görevler için modelleri eğitirken Adam, bu modellerle ilişkili karmaşık kayıp ortamında verimli bir şekilde gezinmeye yardımcı olur.
Ultralytics ekosistemi içinde Adam ve varyantı AdamW, Ultralytics YOLO modellerini eğitmek için mevcut optimize edicilerdir. Adam'ın uyarlanabilir öğrenme oranlarından yararlanmak, nesne algılama, örnek segmentasyonu veya poz tahmin modellerinin eğitimi sırasında yakınsamayı hızlandırabilir. SGD, potansiyel olarak daha iyi nihai genelleme nedeniyle YOLO modelleri için genellikle varsayılan ve önerilen iyileştirici olsa da Adam, özellikle belirli senaryolarda veya ilk denemeler sırasında yararlı olan sağlam bir alternatif sunar. Optimize ediciyi ve diğer eğitim ayarlarını kolayca yapılandırabilirsiniz. Ultralytics HUB gibi araçlar, kullanıcıların Adam da dahil olmak üzere çeşitli optimize ediciler kullanarak modelleri yerel olarak veya bulut eğitimi yoluyla eğitmelerine olanak tanıyarak süreci kolaylaştırır. Performansı optimize etmek için hiperparametre ayarlama gibi teknikleri göz önünde bulundurun. Gibi çerçeveler PyTorch ve TensorFlow Adam'ın uygulamalarını sağlar.
TR
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
VI
