SiLU (Sigmoid Lineer Birim)

SiLU Nasıl Çalışır?

SiLU, girdi ve girdinin çarpımı olarak tanımlanır. Sigmoid fonksiyonu girişe uygulanır. Esasen, SiLU(x) = x * sigmoid(x). Bu formülasyon, SiLU'nun sigmoid bileşenin doğrusal girdinin ne ölçüde doğrusal olduğunu belirlediği bir kendi kendini geçitleme mekanizması olarak hareket etmesini sağlar. x içinden geçirilir. Sigmoid çıktı 1'e yakın olduğunda, girdi neredeyse hiç değişmeden geçer (pozitif değerler için ReLU'ya benzer) ve 0'a yakın olduğunda, çıktı sıfıra doğru bastırılır. ReLU'nun aksine, SiLU düzgün ve monotonik değildir (girdi arttığında bile azalabilir), bu özellikler Sigmoid fonksiyon detayları Bileşen. Bu konsept şu belgede detaylandırılmıştır orijinal Swish kağıdı.

SiLU'nun Avantajları

SiLU, derin öğrenme modellerindeki etkinliğine katkıda bulunan çeşitli avantajlar sunar:

• Düzgünlük: ReLU'nun aksine SiLU pürüzsüz bir fonksiyondur, yani türevi süreklidir. Bu pürüzsüzlük, geriye yayılma sırasında gradyan tabanlı optimizasyon algoritmaları için faydalı olabilir ve daha istikrarlı bir eğitim sağlar.
• Monotonik olmama: Fonksiyonun sıfıra doğru yükselmeden önce negatif girdiler için hafifçe alçalan şekli, ağın daha karmaşık örüntüleri temsil etmesine yardımcı olabilir.
• Kaybolan Gradyanlardan Kaçınma: Sigmoid fonksiyonlar derin ağlarda kaybolan gradyan sorunundan önemli ölçüde muzdarip olabilirken, SiLU bu sorunu, özellikle ReLU'ya benzer şekilde doğrusal davrandığı pozitif girdiler için hafifletir.
• Geliştirilmiş Performans: Ampirik çalışmalar, ReLU'nun SiLU ile değiştirilmesinin, özellikle daha derin mimarilerde, çeşitli görevler ve veri kümelerinde model doğruluğunda iyileşmelere yol açabileceğini göstermiştir.

Diğer Aktivasyon Fonksiyonları ile Karşılaştırma

SiLU kendisini diğer yaygın aktivasyon fonksiyonlarından ayırır:

• ReLU: ReLU hesaplama açısından daha basittir (max(0, x)) ve pozitif değerler için doğrusaldır, ancak nöronların negatif girdiler için pasif hale gelebildiği "ölen ReLU" probleminden muzdariptir. Bkz. a ReLU açıklaması. SiLU pürüzsüzdür ve negatif değerler için sıfır olmayan çıkışı sayesinde bu sorunu önler.
• Sigmoid: Sigmoid, girdileri 0 ile 1 arasında bir aralıkla eşler ancak doygunluk ve kaybolan gradyanlardan muzdariptir, bu da onu SiLU'ya kıyasla derin ağlardaki gizli katmanlar için daha az uygun hale getirir.
• Sızdıran ReLU: Sızdıran ReLU, negatif girdiler için küçük, sıfır olmayan bir gradyana izin vererek ölmekte olan ReLU sorununu ele alır. SiLU farklı, daha yumuşak bir profil sunar.
• GELU: GELU (Gauss Hata Doğrusal Birimi), genellikle SiLU'ya benzer şekilde performans gösteren başka bir yumuşak aktivasyon fonksiyonudur. SiLU genellikle hesaplama açısından GELU'dan biraz daha basit olarak kabul edilir.

SiLU Uygulamaları

SiLU çok yönlüdür ve derin öğrenme modellerinin kullanıldığı çeşitli alanlarda başarıyla uygulanmıştır:

• Nesne Algılama: SiLU, aşağıdakilerle ilgili bazı versiyonlar da dahil olmak üzere, en son teknoloji ürünü nesne algılama modellerinin mimarilerinde sıklıkla kullanılır Ultralytics YOLO. Örneğin, araçların ve yayaların doğru bir şekilde tespit edilmesi otonom sürüş sistemleri için kritik öneme sahiptir.
• Görüntü Sınıflandırma: Görüntüleri sınıflandırmak için Evrişimsel Sinir Ağlarında (CNN'ler) güçlü performans göstermiş ve karşılaştırmalı veri kümelerinde daha yüksek doğruluğa katkıda bulunmuştur. Hastalık teşhisine yardımcı olmak için tıbbi görüntü analizinde farklı doku türlerinin sınıflandırılması buna bir örnektir.
• Doğal Dil İşleme (NLP): SiLU, metin sınıflandırma ve diğer NLP uygulamaları gibi görevlerde performansı artıran NLP modellerinde de bulunabilir.
• Genel Bilgisayarlı Görü (CV): Özellikleri, algılama ve sınıflandırmanın ötesinde çeşitli CV görevleri için güçlü bir aday olmasını sağlar.

Uygulama

SiLU, başlıca derin öğrenme çerçevelerinde kolayca kullanılabilir:

• PyTorch: Olarak uygulandı torch.nn.SiLU, resmi SiLU için PyTorch belgeleri mevcut.
• TensorFlow: Olarak mevcut tf.keras.activations.swish veya tf.keras.activations.silu'de belgelenmiştir. SiLU için TensorFlow belgeleri.

Ultralytics HUB gibi platformlar, eğitim modellerini destekler ve SiLU gibi gelişmiş bileşenleri kullanan modeller için çeşitli dağıtım seçeneklerini keşfeder. DeepLearning.AI gibi kuruluşların devam eden araştırmaları ve kaynakları, uygulayıcıların bu tür işlevlerden etkili bir şekilde yararlanmasına yardımcı olmaktadır.