Geriye Yayılım

Geri Yayılım Nasıl Çalışır?

Süreç, ilk tahminden sonra iki ana aşamadan oluşmaktadır:

1. İleri Geçiş: Girdi verileri, bir çıktı (tahmin) oluşturulana kadar nöronları etkinleştirerek ve model ağırlıklarını uygulayarak katman katman ağ üzerinden beslenir.
2. Hata Hesaplama: Ağın tahmini ile gerçek hedef değer (zemin gerçeği) arasındaki fark bir kayıp fonksiyonu kullanılarak hesaplanır. Bu kayıp, tahminin ne kadar yanlış olduğunu ölçer. Bunu anlamak için yaygın bir kaynak, MLP ile ilgili Derin Öğrenme Kitabı bölümüdür.
3. Geriye Doğru Geçiş: Burası geriye yayılmanın gerçek anlamda gerçekleştiği yerdir. Çıkış katmanından başlayarak algoritma, her katmanın weights and biases göre kayıp fonksiyonunun gradyanını hesaplar. Hata sinyalini ağ boyunca katman katman geriye doğru verimli bir şekilde yaymak için kalkülüsün zincir kuralını kullanır. Bu, genel hatayı azaltmak için her bir parametrenin ne kadar değişmesi gerektiğini belirler. "Calculus on Computational Graphs "daki gibi görselleştirmeler bu akışı göstermeye yardımcı olabilir.
4. Ağırlık Güncelleme: Hesaplanan gradyanlar daha sonra Gradient Descent veya Adam gibi daha gelişmiş varyantlar gibi bir optimizasyon algoritması tarafından ağın weights and biases güncellemek için kullanılır ve modeli bir sonraki iterasyonda daha iyi tahminler yapmaya yönlendirir.

Derin Öğrenmedeki Önemi

Geriye yayılma, modern derin öğrenmenin başarısı için temeldir. Bilgisayarla görmede yaygın olarak kullanılan Evrişimli Sinir Ağları (CNN'ler) ve metin gibi sıralı veriler için kullanılan Tekrarlayan Sinir Ağları (RNN'ler) gibi çok derin ve karmaşık mimarilerin eğitilmesini sağlar. Geriye yayılımın sağladığı gibi gradyanları hesaplamanın etkili bir yolu olmadan, bu büyük modelleri eğitmek hesaplama açısından mümkün olmazdı. Modellerin çok miktarda veriden karmaşık özellikleri ve ilişkileri otomatik olarak öğrenmesine olanak tanır ve 1980'lerde popülerleşmesinden bu yana Derin Öğrenme geçmişini kapsayan kaynaklarda ayrıntılı olarak açıklanan birçok yapay zeka ilerlemesinin temelini oluşturur.

Gerçek Dünya Uygulamaları

Geri yayılım, bir derin öğrenme modeli eğitildiğinde dolaylı olarak kullanılır. İşte iki örnek:

1. Nesne Algılama: Gibi modeller Ultralytics YOLO geri yayılım kullanılarak eğitilir. Model bir nesneyi yanlış tanımladığında veya COCO gibi veri kümelerinden alınan bir görüntüde sınırlayıcı kutuyu yanlış yerleştirdiğinde, geri yayılım modelin ağırlıklarını ayarlamak için gereken gradyanları hesaplar ve nesne algılamayı doğru bir şekilde gerçekleştirme yeteneğini geliştirir.
2. Doğal Dil İşleme (NLP): Makine çevirisi veya duygu analizi gibi görevler için BERT veya GPT gibi büyük dil modellerinin eğitimi büyük ölçüde geri yayılıma dayanır. Model parametrelerini, üretilen metin ile istenen çıktı arasındaki farkı en aza indirecek şekilde ayarlayarak bu modellerin insan benzeri bir dili anlamasını ve üretmesini sağlar. Stanford'un NLP grubu bu konularda birçok kaynak sağlamaktadır.

İlgili Kavramlar

Birbiriyle yakından ilişkili olsa da, Geriye Yayılma Gradyan İnişinden farklıdır. Geriye Yayılma, özellikle ağın parametrelerine göre kayıp fonksiyonunun gradyanlarını hesaplayan algoritmadır. Gradyan İnişi (ve varyantları), parametreleri iteratif olarak güncellemek ve kaybı en aza indirmek için bu hesaplanan gradyanları kullanan optimizasyon algoritmasıdır. Backpropagation, özellikle çok derin ağlarda bazen kaybolan gradyan sorunu gibi sorunlardan muzdarip olabilir, ancak ReLU aktivasyon fonksiyonlarını ve artık bağlantıları kullanmak gibi teknikler bunu hafifletmeye yardımcı olur.