Toplu Normalizasyon

Toplu Normalleştirme Nasıl Çalışır?

Eğitim sırasında, Toplu Normalleştirme, her mini toplu iş için bir katmana girdileri standartlaştırır. Bu, mini parti boyunca aktivasyonların ortalamasının ve varyansının hesaplanmasını ve ardından bu aktivasyonların normalleştirilmesini içerir. Bu teknik aynı zamanda aktivasyon kanalı başına iki öğrenilebilir parametre (bir ölçek (gama) ve bir kaydırma (beta) parametresi) sunar. Bu parametreler, ağın normalleştirilmiş girdilerin optimum ölçeğini ve ortalamasını öğrenmesine olanak tanıyarak, öğrenme için yararlı olduğu kanıtlanırsa normalleştirmeyi geri alma esnekliği sağlar. Bu süreç, aktivasyonları makul bir aralıkta tutarak kaybolan gr adyanlar ve patlayan gradyanlar gibi sorunlarla mücadele etmeye yardımcı olur. Çıkarım sırasında, ortalama ve varyans, tipik olarak eğitim sırasında tahmin edilen popülasyon istatistikleri kullanılarak sabitlenir.

Toplu Normalleştirme Kullanmanın Faydaları

Sinir ağlarında Toplu Normalleştirme uygulamak birkaç önemli avantaj sunar:

• Daha Hızlı Eğitim: Genellikle önemli ölçüde daha yüksek öğrenme oranlarına izin verir, bu da eğitim sürecinin yakınsamasını hızlandırır. Daha fazla optimizasyon stratejisi için Model Eğitimi için İpuçları bölümüne bakın.
• Geliştirilmiş Gradyan Akışı: Aktivasyon dağılımlarını stabilize ederek, kaybolan ve patlayan gradyan sorunlarını hafifletir ve özellikle çok derin ağlarda daha kararlı eğitime yol açar.
• Düzenlileştirme Etkisi: Toplu Normalleştirme, mini toplu istatistikler nedeniyle katman girdilerine hafif bir gürültü bileşeni ekler. Bu, bir tür düzenli hale getirme işlevi görür ve Dropout gibi diğer tekniklere olan ihtiyacı potansiyel olarak azaltır.
• Başlangıçta Daha Az Hassasiyet: Toplu Normalizasyona sahip ağlar, eğitim başlamadan önce seçilen başlangıç ağırlıklarına karşı genellikle daha az duyarlıdır.
• Daha Derin Ağlara Olanak Sağlar: Derin mimarilerin eğitimiyle ilgili sorunları ele alarak, çok daha derin modellerin başarılı bir şekilde eğitilmesini kolaylaştırır.

Uygulamalar ve Örnekler

Toplu Normalleştirme, özellikle bilgisayarla görme alanında olmak üzere birçok son teknoloji derin öğrenme modelinde temel bir bileşendir.

1. Görüntü Tanıma ve Nesne Algılama: Konvolüsyonel Sinir Ağlarında (CNN'ler), Toplu Normalleştirme tipik olarak konvolüsyonel katmanlardan sonra ve aktivasyon fonksiyonundan önce ( ReLU gibi) uygulanır. ResNet gibi modeller büyük ölçüde buna dayanır. Nesne algılama modellerinde, örneğin Ultralytics YOLOToplu Normalleştirme, eğitimi stabilize etmeye, doğruluğu artırmaya ve yakınsamayı hızlandırmaya yardımcı olarak COCO gibi karmaşık veri kümelerinde etkili tespit yapılmasını sağlar. Performansı daha da artırmak için YOLOv4 gibi modellerde Cross mini-Batch Normalization (CmBN) gibi varyasyonlar kullanılmıştır.
2. Üretken Çekişmeli Ağlar (GAN'lar): Toplu Normalleştirme, yapaylıklardan kaçınmak için dikkatli bir şekilde uygulanması gerekmesine rağmen, karşıt eğitim sürecini stabilize etmek için GAN 'ların üretici ve ayırıcı ağlarında sıklıkla kullanılır. Mod çökmesini önlemeye yardımcı olur ve daha düzgün eğitim dinamikleri sağlar.

İlgili Kavramlar ve Varyasyonlar

Toplu Normalleştirme yaygın olarak kullanılmakla birlikte, her biri farklı senaryolar için uygun olan çeşitli ilgili normalleştirme teknikleri mevcuttur:

• Katman Normalleştirme: Partiden bağımsız olarak tek bir veri örneği için özellikler genelinde girdileri normalleştirir. Genellikle dizi uzunluklarının değişebildiği Tekrarlayan Sinir Ağlarında (RNN'ler) ve Transformatörlerde tercih edilir. Orijinal"Layer Normalization" makalesine bakın.
• Örnek Normalleştirme: Her veri örneği için uzamsal boyutlar boyunca her kanalı bağımsız olarak normalleştirir. Örneğe özgü kontrast bilgilerini kaldırmak için stil aktarım görevlerinde(Nöral Stil Aktarımı) yaygın olarak kullanılır."Örnek Normalleştirme" makalesine bakın:Hızlı Stilizasyon için Eksik Bileşen".
• Grup Normalizasyonu: Kanalları gruplara ayırır ve tek bir veri örneği için her grup içinde normalleştirme yapar. Katman ve Örnek Normalleştirme arasında bir uzlaşma görevi görür ve küçük parti boyutlarında bile iyi performans gösterir."Grup Normalleştirme" makalesine bakın.

Düşünceler ve Uygulamalar

Toplu Normalleştirme için önemli bir husus, eğitim sırasında mini toplu iş boyutuna olan bağımlılığıdır. Yığın boyutu çok küçükse (örn. 1 veya 2), yığın istatistikleri popülasyon istatistiklerinin gürültülü tahminleri haline geldiğinden performans düşebilir. Ayrıca, davranış eğitim (yığın istatistikleri kullanarak) ve çıkarım (tahmini popülasyon istatistikleri kullanarak) arasında farklılık gösterir. Aşağıdaki gibi standart derin öğrenme çerçeveleri PyTorch (torch.nn.BatchNorm2d) ve TensorFlow (tf.keras.layers.BatchNormalization) sağlam uygulamalar sağlar. Alternatiflere rağmen, Toplu Normalleştirme birçok modern derin öğrenme modelini etkili bir şekilde eğitmek için temel bir teknik olmaya devam etmektedir.