Sigmoid

Sigmoid Nasıl Çalışır?

Sigmoid fonksiyonu giriş değerlerini (0, 1) aralığına eşler. Büyük pozitif giriş değerleri 1'e yakın bir çıkışla sonuçlanır, büyük negatif giriş değerleri 0'a yakın bir çıkışla sonuçlanır ve 0'lık bir giriş 0,5'lik bir çıkışla sonuçlanır. Bu dönüşüm pürüzsüz ve türevlenebilirdir, yani gradyanını herhangi bir noktada hesaplayabiliriz. Bu farklılaştırılabilirlik, model ağırlıklarını güncellemek için geriye yayılma sırasında hesaplanan gradyanlara dayanan gradyan inişi gibi optimizasyon algoritmalarını kullanan sinir ağlarını (NN' ler) eğitmek için çok önemlidir.

Makine Öğreniminde Uygulamalar

Sigmoid fonksiyonların makine öğreniminde birçok önemli uygulaması vardır:

1. İkili Sınıflandırma: İkili sınıflandırma problemlerinde (çıktının evet/hayır, spam/spam değil gibi iki sınıftan biri olduğu durumlarda) Sigmoid fonksiyonu genellikle Lojistik Regresyon veya sinir ağı gibi bir modelin son çıktı katmanında kullanılır. Çıktı değeri 0 ile 1 arasında, girdinin pozitif sınıfa ait olma olasılığı olarak yorumlanır. Daha sonra nihai sınıflandırma kararını vermek için bir eşik (genellikle 0,5) uygulanır.
2. Çok Etiketli Sınıflandırma: Her girdinin yalnızca bir sınıfa ait olduğu çok sınıflı sınıflandırmanın aksine (genellikle Softmax tarafından ele alınır), çok etiketli sınıflandırma bir girdinin aynı anda birden fazla sınıfa ait olmasına izin verir. Sigmoid, her bir çıkış nöronuna bağımsız olarak uygulanabilir ve belirli bir etiketin mevcut olma olasılığını verir.
3. Yolluk Mekanizmaları: Sigmoid fonksiyonları, LSTM'ler (Uzun Kısa Süreli Bellek) ve GRU'lar (Geçitli Tekrarlayan Birimler) gibi tekrarlayan sinir ağlarının geçit mekanizmalarındaki temel bileşenlerdir. Bu kapılar bilgi akışını kontrol ederek hangi bilginin saklanacağına veya atılacağına karar verir ve Sigmoid'in 0-1 çıkış aralığı doğal olarak bir kapının "açık" veya "kapalı" olma derecesini temsil eder.
4. Nesne Algılama Güveni: 'in önceki sürümleri gibi bazı nesne algılama modellerinde Ultralytics YOLOSigmoid fonksiyonları (veya benzer lojistik fonksiyonlar), güven puanını tahmin etmek için çıktı katmanında kullanılır - bir nesnenin önerilen bir sınırlayıcı kutu içinde bulunma olasılığı ve kutunun ne kadar doğru olduğu. Ultralytics Modelleri bölümünde çeşitli YOLO modellerini keşfedebilirsiniz.

Gerçek Dünyadan Örnekler

• Tıbbi Teşhis Olasılığı: Hasta verileri üzerinde eğitilen bir model, bir hastanın semptomlarına ve test sonuçlarına dayanarak belirli bir duruma sahip olma olasılığını (0 ile 1 arasında) tahmin etmek için bir Sigmoid çıktı katmanı kullanabilir. Bu, doktorların karar vermesine yardımcı olur. Yapay zekanın tıbbi görüntü analizinde ve sağlık hizmetlerinde daha geniş yapay zeka çözümlerinde nasıl kullanıldığını görün.
• Duygu Analizi: Bir metin parçasının (ürün incelemesi gibi) olumlu mu yoksa olumsuz bir duygu mu ifade ettiğini belirlerken, Sigmoid fonksiyonu duygunun olumlu olma olasılığını verebilir. Duygu analizi hakkında daha fazlasını keşfedin.

Diğer Aktivasyon Fonksiyonları ile Karşılaştırma

Tarihsel olarak önemli olsa da Sigmoid, belirli sınırlamalar nedeniyle derin ağların gizli katmanlarında genellikle diğer aktivasyon fonksiyonlarıyla değiştirilir.

• Sigmoid vs ReLU (Düzeltilmiş Doğrusal Birim): ReLU (ve Leaky ReLU gibi varyantları ) genellikle gizli katmanlarda tercih edilir çünkü pozitif girdiler için Sigmoid kadar ciddi bir şekilde kaybolan gradyan probleminden muzdarip değildir ve hesaplama açısından daha ucuzdur. Bununla birlikte, ReLU çıktıları 0 ile sonsuz arasında değişir, bu da onu doğrudan olasılıkların çıktısı için uygun hale getirmez.
• Sigmoid vs Tanh (Hiperbolik Tanjant): Tanh da S şeklindedir ancak girdileri (-1, 1) aralığına eşler. Çıktısı sıfır merkezlidir, bu da Sigmoid'in sıfır merkezli olmayan çıktısına (0 ila 1) kıyasla eğitim sırasında bazen daha hızlı yakınsamaya yol açabilir. Bununla birlikte, Tanh da kaybolan gradyan probleminden muzdariptir.
• Sigmoid ve Softmax: Softmax çok sınıflı sınıflandırma problemleri için kullanılır. Bir puan vektörünü alır ve tüm çıktı olasılıklarının toplamının 1 olduğu bir olasılık dağılımına dönüştürür. Sigmoid ise her bir çıktı nöronunu bağımsız olarak ele alır ve çıktıların toplamının 1 olması gerekmeyen ikili veya çok etiketli görevler için uygundur. Gibi çerçeveler PyTorch tüm bu yaygın aktivasyon fonksiyonları için uygulamalar sağlar.

Sınırlamalar

1. Kaybolan Gradyanlar: Çok yüksek veya çok düşük girdi değerleri için Sigmoid fonksiyonunun gradyanı son derece küçük (sıfıra yakın) hale gelir. Derin ağlarda geriye yayılma sırasında, bu küçük gradyanlar birçok kez çarpılarak ilk katmanların gradyanlarının kaybolacak kadar küçük olmasına neden olabilir. Bu durum, bu katmanlardaki ağırlıkların güncellenmesini etkili bir şekilde durdurarak öğrenme sürecini engeller.
2. Sıfır Merkezli Olmayan Çıktı: Sigmoid'in çıktısı her zaman 0 ile 1 arasındadır, yani sıfır merkezli değildir. Ağırlık güncellemeleri bir katmandaki tüm ağırlıklar için sürekli olarak pozitif veya negatif yönde hareket etme eğiliminde olduğundan, bu durum gradyan inişinin yakınsamasını yavaşlatabilir.
3. Hesaplama Maliyeti: ReLU ile karşılaştırıldığında, Sigmoid hesaplamasında yer alan üstel fonksiyon hesaplama açısından daha pahalıdır.

Bu sınırlamalara rağmen Sigmoid işlevi, özellikle ikili sınıflandırma görevlerindeki çıktı katmanları için ve LSTM'ler ve GRU'lar gibi belirli mimariler içinde değerli bir araç olmaya devam etmektedir. Ultralytics HUB gibi platformlarda çeşitli aktivasyon fonksiyonlarını kullanarak modelleri yönetebilir ve eğitebilirsiniz.