Genellemeyi iyileştirmek ve aşırı güveni azaltmak için kanıtlanmış bir teknik olan etiket yumuşatma ile yapay zeka modelinin doğruluğunu ve sağlamlığını artırın.
Etiket yumuşatma, makine öğreniminde, özellikle de sınıflandırma görevlerinde, model genellemesini ve kalibrasyonunu iyileştirmek için kullanılan bir düzenlileştirme tekniğidir. Eğitim sırasında kullanılan hedef etiketleri değiştirerek, tahminlerdeki aşırı güveni azaltmak ve modeli sınıflandırmaları konusunda daha az emin olmaya teşvik etmek için tek seferde kodlanan sert etiketleri yumuşatarak çalışır.
Geleneksel sınıflandırma görevlerinde, hedef etiketler genellikle tek vuruşlu kodlama kullanılarak temsil edilir. Örneğin, bir görüntü 'kedi' sınıfına aitse, etiket şöyle olacaktır [0, 1, 0, 0] dört sınıf (köpek, kedi, kuş, balık) için 'kedi' sınıfına tam güven (1.0) ve diğerlerine sıfır güven (0.0) gösterir. Etiket yumuşatma, doğru sınıftan yanlış sınıflara az miktarda olasılık kütlesi dağıtarak bunu değiştirir. Bir hedef yerine [0, 1, 0, 0], etiket yumuşatma işlemi bunu aşağıdaki gibi değiştirebilir [0.01, 0.9, 0.03, 0.06]. Bu ayarlanmış hedef, görüntünün gerçekten bir 'kedi' olmasına rağmen, başka bir şey olma ihtimalinin de az olduğunu göstermektedir.
Görünüşte küçük olan bu ayarlama, modellerin nasıl öğrendiği üzerinde önemli bir etkiye sahiptir. Etiket yumuşatma, modelin eğitim sırasında tek bir sınıfa aşırı güvenmesini önleyerek daha sağlam ve genelleştirilebilir özellikler öğrenmesini teşvik eder. Esasen modele, eğitim verilerinde bile bir miktar belirsizlik veya gürültü olabileceğini ve eğitim verilerine çok mükemmel bir şekilde uymaması gerektiğini, bunun da aşırı uyuma yol açabileceğini söyler.
Etiket yumuşatmanın birincil faydası model genellemesinin iyileştirilmesidir. Standart tek vuruşlu kodlama ile eğitilen modeller, özellikle eğitim verilerinde tahminlerine aşırı güvenebilir. Bu aşırı güven görünmeyen verilerde düşük performansa yol açabilir çünkü model belirsizlikle veya girdideki küçük değişikliklerle başa çıkmayı öğrenmemiştir.
Etiket yumuşatma, kendine aşırı güvenen tahminleri cezalandırarak bir tür düzenli hale getirme işlevi görür. Modeli daha az ayrımcı ve daha kalibre olmaya teşvik eder, yani tahmin edilen olasılıkları bir sınıfın doğru olma olasılığını daha fazla yansıtır. Bu, özellikle verilerin genellikle gürültülü olduğu ve eğitim veri kümelerinden daha az mükemmel olduğu gerçek dünya uygulamalarında genellikle daha iyi doğruluk ve güvenilirlikle sonuçlanır.
Ayrıca etiket yumuşatma, modellerin eğitim verilerini ezberlemesini önlemeye ve bunun yerine daha anlamlı temsiller öğrenmesine yardımcı olabilir. Eğitim sürecini daha istikrarlı ve veri kümesindeki gürültülü etiketlere karşı daha az duyarlı hale getirir.
Etiket yumuşatma, yapay zeka ve makine öğreniminde çeşitli alanlarda başarıyla uygulanmıştır. İşte birkaç örnek:
Görüntü Sınıflandırma: Ultralytics YOLO modelleriyle görüntü sınıflandırmada, sınıflandırıcının sağlamlığını artırmak için etiket yumuşatma kullanılabilir. Örneğin, ImageNet üzerinde bir modeli eğitirken, etiket yumuşatma uygulamak doğrulama doğruluğunda küçük ama önemli bir artışa yol açabilir. Bu, özellikle doğru ve iyi kalibre edilmiş olasılık tahminlerinin teşhis için çok önemli olduğu tıbbi görüntü analizi gibi senaryolarda kullanışlıdır.
Doğal Dil İşleme (NLP): Etiket yumuşatma, makine çevirisi ve dil modelleme gibi NLP görevlerinde de faydalıdır. Örneğin, GPT-3 veya GPT-4 gibi büyük dil modellerinin eğitiminde etiket yumuşatma, modelin yeni cümlelere ve bağlamlara genelleme yeteneğini artırabilir. Ayrıca modelin kelime tahminlerinde aşırı deterministik olmasını engelleyerek oluşturulan metnin akıcılığını ve tutarlılığını artırabilir. İstem mühendisliği gibi teknikler, daha güvenilir ve bağlama duyarlı metin çıktıları üretmek için etiket yumuşatmadan elde edilen gelişmiş kalibrasyondan daha fazla yararlanabilir.
Geliştiriciler, etiket yumuşatmayı eğitim sürecine dahil ederek, özellikle aşağıdaki gibi güçlü modeller kullanırken, gerçek dünya senaryolarında daha iyi performans gösteren daha güvenilir ve sağlam yapay zeka modelleri oluşturabilirler Ultralytics YOLOv8 görme görevleri için.
