Softmax

Softmax Nasıl Çalışır?

Bir görüntünün hangi kategoriye ait olduğuna karar vermeye çalışan bir sinir ağı düşünün. Ağın son katmanı her kategori için bir dizi ham puan üretir. Daha yüksek bir puan, modelin o kategoriye daha fazla eğilimli olduğunu gösterir, ancak bu puanlar standartlaştırılmamıştır ve doğrudan çalışmak zor olabilir.

Softmax işlevi bu puanları alır ve iki ana adım gerçekleştirir:

1. Her puana üstel fonksiyon uygular. Bu, tüm değerleri pozitif yapar ve aralarındaki farkları abartır - daha büyük puanlar orantılı olarak çok daha büyük olur.
2. Bu üstel puanları, her birini toplamlarına bölerek normalleştirir. Bu adım, değerleri topluca 1,0'a ulaşacak şekilde ölçeklendirerek etkili bir olasılık dağılımı oluşturur.

Nihai çıktı, her bir değerin modelin girdinin belirli bir sınıfa ait olduğuna dair öngörülen olasılığını temsil ettiği bir olasılıklar listesidir. En yüksek olasılığa sahip sınıf daha sonra nihai tahmin olarak seçilir.

Yapay Zeka ve Makine Öğrenimi Uygulamaları

Softmax, çok sınıflı sınıflandırma yapan herhangi bir derin öğrenme modeli için temeldir. Net, olasılıksal bir çıktı sağlama yeteneği, onu çeşitli alanlarda paha biçilmez kılmaktadır.

• Image Classification: This is the most common use case. A Convolutional Neural Network (CNN) trained on a dataset like ImageNet will use Softmax in its final layer. For an image of a pet, the model might output probabilities like {Dog: 0.9, Cat: 0.08, Rabbit: 0.02}, clearly indicating its prediction. Models like Ultralytics YOLO use this for classification tasks.
• Doğal Dil İşleme (NLP): Dil modellemede Softmax, bir dizideki bir sonraki kelimeyi tahmin etmek için kullanılır. Transformer gibi bir model, kelime dağarcığındaki her kelime için bir puan hesaplar ve bu puanları olasılıklara dönüştürmek için Softmax kullanır. Bu, Büyük Dil Modellerinin (LLM'ler) temel bir bileşenidir ve makine çevirisinden metin oluşturmaya kadar uygulamalara güç verir.
• Tıbbi Görüntü Analizi: Farklı doku türlerini sınıflandırmak veya patolojileri (örneğin iyi huylu, kötü huylu veya sağlıklı) tanımlamak için tıbbi taramaları analiz ederken, bir model her tanıya bir olasılık atamak için Softmax'ı kullanacak ve klinisyenlerin daha bilinçli kararlar almasına yardımcı olacaktır.
• Takviyeli Öğrenme: Politika tabanlı takviyeli öğrenmede Softmax, farklı eylemlerin öğrenilen değerlerini, bir ajanın alabileceği olası eylemler üzerinde bir olasılık dağılımı olan bir politikaya dönüştürmek için kullanılabilir.

Softmax ve Diğer Aktivasyon Fonksiyonları

Farklı amaçlara hizmet ettikleri için Softmax'ı diğer yaygın aktivasyon fonksiyonlarından ayırmak önemlidir.

• Sigmoid: Sigmoid işlevi de 0 ile 1 arasında değerler verir, ancak ikili sınıflandırma (bir sınıf diğerine karşı) veya bir girdinin aynı anda birden fazla sınıfa ait olabileceği çok etiketli sınıflandırma için kullanılır. Örneğin, bir film hem "Komedi" hem de "Aksiyon" olarak sınıflandırılabilir. Buna karşılık Softmax, sınıfların birbirini dışladığı çok sınıflı sınıflandırma içindir; örneğin el yazısıyla yazılmış bir rakam 7 veya 8 olmalıdır, ancak ikisi birden olamaz.
• ReLU (Doğrultulmuş Doğrusal Birim): ReLU ve Leaky ReLU ve SiLU gibi varyantları bir sinir ağının gizli katmanlarında kullanılır. Birincil görevleri, modelin verilerdeki karmaşık örüntüleri öğrenmesine olanak tanıyan doğrusal olmayanlığı tanıtmaktır. Olasılık üretmezler ve sınıflandırma için çıktı fonksiyonu olarak kullanılmazlar.
• Tanh (Hiperbolik Tanjant): Tanh, değerleri -1 ile 1 arasında bir aralığa sıkıştırır. ReLU gibi, gizli katmanlarda, özellikle eski Tekrarlayan Sinir Ağı (RNN) mimarilerinde kullanılır. Sınıflandırma görevleri için olasılık çıktıları üretmek için uygun değildir.

Pratik Hususlar

Güçlü olmasına rağmen Softmax çok büyük girdi puanlarına karşı hassas olabilir ve bu da bazen sayısal kararsızlığa (taşma veya düşük taşma) yol açabilir. Bunu ele almak için PyTorch ve TensorFlow gibi modern derin öğrenme çerçeveleri, Softmax'ın sayısal olarak kararlı sürümlerini sahne arkasında uygular.

Softmax, model eğitimi sırasında neredeyse her zaman Çapraz Entropi Kaybı (veya Log Kaybı) adı verilen belirli bir kayıp fonksiyonu ile eşleştirilir. Bu kombinasyon, çok sınıflı sınıflandırıcıların eğitimi için oldukça etkilidir. Softmax'ın davranışını anlamak, deneyleri ve dağıtımları kolaylaştırmak için Ultralytics HUB gibi platformlar kullanılarak yönetilebilen ve izlenebilen etkili model eğitimi ve yorumlaması için çok önemlidir.