Toplu Normalizasyon

Toplu Normalleştirme Nasıl Çalışır?

Model eğitim süreci sırasında veriler, yığın adı verilen küçük gruplar halinde ağdan geçirilir. Tipik olarak bir konvolüsyonel veya tam bağlı katmandan sonra ve aktivasyon fonksiyonundan önce eklenen bir Toplu Normalleştirme katmanı, her grup için iki ana adım gerçekleştirir:

1. Normalleştirme: Mevcut parti içindeki aktivasyonların ortalamasını ve varyansını hesaplar. Daha sonra bu istatistikleri aktivasyonları normalleştirmek için kullanır ve onlara sıfır ortalama ve bir varyans verir. Bu adım, bir sonraki katmana giden girdilerin tutarlı bir ölçekte olmasını sağlar.
2. Ölçekleme ve Kaydırma: Aktivasyonların normalleştirilmesi katmanın ifade gücünü sınırlayabilir. Buna karşı koymak için, katman iki öğrenilebilir parametre sunar - ölçekleme faktörü (gama) ve kaydırma faktörü (beta). Bu parametreler, ağın bir sonraki katmana girdiler için en uygun ölçeği ve ortalamayı öğrenmesini sağlar ve ağın en iyi olduğunu belirlediği şey buysa normalleştirmeyi etkili bir şekilde geri alır.

Çıkarım sırasında, model yığınlar yerine tek örnekleri işler. Bu nedenle, yığına özgü ortalama ve varyans mevcut değildir. Bunun yerine model, eğitim aşamasında hesaplanan ve saklanan tüm eğitim veri kümesinden hesaplanan toplam ortalama ve varyansı kullanır. Bu, modelin çıktısının deterministik ve tutarlı olmasını sağlar.

Toplu Normalizasyonun Faydaları

Bir derin öğrenme modelinde Toplu Normalleştirme uygulamak birkaç önemli avantaj sunar:

• Daha Hızlı Eğitim: BatchNorm, girdi dağılımlarını stabilize ederek çok daha yüksek bir öğrenme oranının kullanılmasına olanak tanır ve bu da modelin yakınsamasını önemli ölçüde hızlandırır.
• Dahili Kovaryans Kaymasını Azaltır: Bu, Toplu Normalizasyonun çözmek için tasarlandığı birincil sorundur. Daha önceki katmanların parametrelerindeki değişikliklerin daha sonraki katmanların girdilerinin dağılımının değişmesine neden olarak eğitimi daha zor hale getirmesi sorununu hafifletir.
• Düzenlileştirme Etkisi: Toplu Normalleştirme, toplu tabanlı istatistikler nedeniyle her katmanın aktivasyonlarına az miktarda gürültü ekler. Bu gürültü, aşırı uyumu önlemeye yardımcı olabilecek ve Dropout gibi diğer tekniklere olan ihtiyacı azaltabilecek bir düzenleme biçimi olarak işlev görür.
• Başlangıca Bağımlılığı Azaltır: Ağı başlangıç ağırlıklarına daha az duyarlı hale getirerek eğitim sürecini daha sağlam hale getirir.

Gerçek Dünya Uygulamaları

Toplu Normalleştirme, Ultralytics YOLO gibi son teknoloji mimariler de dahil olmak üzere modern bilgisayarla görme modellerinde neredeyse her yerde bulunan bir bileşendir.

• Görüntü Sınıflandırma: ImageNet gibi büyük veri kümeleri üzerinde eğitilen modellerde Toplu Normalleştirme, kaybolan gradyanlar gibi sorunları önleyerek ResNet gibi çok derin ağları eğitmek için çok önemlidir. Bu, fotoğraflardaki nesneleri sınıflandırma gibi görevlerde daha yüksek doğruluk sağlar.
• Tıbbi Görüntü Analizi: MRI veya CT taramalarından tümör tespiti veya organ segmentasyonu için modelleri eğitirken, Toplu Normalleştirme, farklı makineler ve hastalar arasında görüntü yoğunluğundaki farklılıkların eğitimi olumsuz etkilememesini sağlar. Bu da sağlık hizmetlerinde yapay zeka için daha güvenilir ve sağlam teşhis araçları sağlar.

İlgili Kavramlar ve Ayrımlar

Toplu Normalleştirmeyi diğer ilgili kavramlardan ayırmak önemlidir:

• Veri Normalleştirme: Genel veri normalizasyonu, eğitim başlamadan önce giriş verilerine uygulanan bir ön işleme adımıdır. Buna karşılık, Toplu Normalleştirme, eğitim sırasında ağın içinde gerçekleşen ve katmanlar arasındaki aktivasyonları normalleştiren dinamik bir süreçtir.
• Diğer Normalleştirme Katmanları: Katman Normalleştirme, Örnek Normalleştirme ve Grup Normalleştirme gibi başka teknikler de mevcuttur. Temel fark, normalleştirmenin kapsamıdır. BatchNorm yığın boyutu genelinde normalleştirme yaparken, Katman Normalleştirme tek bir eğitim örneği için özellikler genelinde normalleştirme yaparak yığın boyutundan bağımsız hale getirir. Bu alternatifler genellikle NLP gibi alanlarda veya küçük parti boyutlarının gerekli olduğu durumlarda kullanılır.

Düşünceler ve Uygulamalar

Toplu Normalleştirme için önemli bir husus, eğitim sırasında mini toplu iş boyutuna olan bağımlılığıdır. Yığın boyutu çok küçükse (örn. 1 veya 2), yığın istatistikleri popülasyon istatistiklerinin gürültülü tahminleri haline geldiğinden performans düşebilir. Aşağıdaki gibi standart derin öğrenme çerçeveleri PyTorch (torch.nn.BatchNorm2d) ve TensorFlow (tf.keras.layers.BatchNormalization) sağlam uygulamalar sağlar. Alternatiflere rağmen, Toplu Normalleştirme birçok modern derin öğrenme modelini etkili bir şekilde eğitmek için temel bir teknik olmaya devam etmektedir. Bu tür teknikleri içeren modelleri aşağıdaki gibi platformları kullanarak yönetebilir ve eğitebilirsiniz Ultralytics HUB.