Aşırı Uyum (Overfitting)

Aşırı uyum, makine öğreniminde bir model eğitim verilerini çok iyi öğrendiğinde, temel veri dağılımı yerine gürültü ve rastgele dalgalanmaları yakaladığında ortaya çıkar. Yeni, görülmemiş verilere uygulanabilecek genel kalıpları öğrenmek yerine, aşırı uyumlu bir model, eğitim kümesindeki belirli örnekleri etkili bir şekilde ezberler. Bu, eğitim verilerinde mükemmel performans, ancak gerçek dünya senaryolarında zayıf genelleme ile sonuçlanır. Genellikle "yüksek varyans" olarak tanımlanır, yani modelin tahminleri, eğitim için kullanılan belirli veri kümesine bağlı olarak önemli ölçüde değişir .

Aşırı Uyum Neden Olur?

Aşırı uyumun temel nedeni, mevcut veri miktarına göre modelin aşırı karmaşık olmasıdır. Bir sinir ağı çok büyükse, yani çok fazla katman veya parametreye sahipse, eğitim örneklerini kolayca ezberleyebilir. Diğer katkıda bulunan faktörler şunlardır:

• Yetersiz Eğitim Verileri: Küçük veri kümeleri, daha geniş popülasyonda mevcut olmayan sahte korelasyonlar içerebilir. Sınırlı verilerle eğitilen modeller, bu tesadüfi kalıpları öğrenmeye eğilimlidir.
• Veri Gürültüsü ve Aykırı Değerler: Eğitim verilerindeki yüksek düzeyde gürültü veya temsil edici olmayan aykırı değerler, modeli yanıltarak, gerçek sinyale değil, anomalilere uyum sağlamak için iç parametrelerini ayarlamasına neden olabilir.
• Uzatılmış Eğitim Süresi: Çok fazla dönem için eğitim, modelin eğitim kümesindeki gürültüye uyana kadar ağırlıklarını iyileştirmeye devam etmesine olanak tanır. Bu genellikle doğrulama verileri kullanılarak izlenir.

Aşırı Öğrenme ve Eksik Öğrenme Karşılaştırması

Aşırı uyum ile yetersiz uyumu birbirinden ayırmak önemlidir. Aşırı uyum, çok fazla ayrıntı (gürültü dahil) öğrenmeyi içerirken, yetersiz uyum, modelin verilerin temel yapısını yakalamak için çok basit olduğu durumlarda ortaya çıkar. Yetersiz uyumlu bir model, hem eğitim verilerinde hem de yeni verilerde düşük performans gösterir ve genellikle yüksek önyargıya neden olur. Bu iki uç durumu dengelemek, önyargı-varyans dengesi olarak bilinir.

Aşırı Uyumlamayı Önleme

Mühendisler, aşırı uyumu azaltmak ve model sağlamlığını artırmak için çeşitli teknikler kullanır:

• Düzenleme: L1/L2 düzenleme veya dropout katmanları ekleme gibi teknikler, eğitim sırasında cezalar veya rastgelelik getirerek modelin belirli özelliklere aşırı bağımlı hale gelmesini önler.
• Erken Durdurma: Doğrulama kümesindeki kayıp fonksiyonunu izlemek, görünmeyen verilerdeki performansın iyileşmesi durduğunda, eğitim doğruluğu artmaya devam etse bile eğitimin durdurulmasını sağlar.
• Veri Artırma: veri artırma kullanarak eğitim setinin boyutunu ve çeşitliliğini yapay olarak artırmak, modelin tam görüntüleri ezberlemesini zorlaştırır.
• Çapraz Doğrulama: k-kat çapraz doğrulama gibi tekniklerin kullanılması, modelin farklı veri alt kümeleri üzerinde test edilmesini sağlayarak performansının daha güvenilir bir tahminini sunar.

Gerçek Dünya Örnekleri

Üretim ortamlarında yapay zeka kullanırken aşırı uyumlama ciddi sonuçlar doğurabilir:

• Tıbbi Teşhis: Sağlık hizmetlerinde AI'da, cilt kanserini detect için eğitilmiş bir model, eğitim görüntülerinde bulunan aydınlatma koşullarına veya cetvel işaretlerine aşırı uyum sağlayabilir. Farklı aydınlatma veya ekipmana sahip bir klinikte kullanıldığında, model, alakasız arka plan ipuçlarına dayandığı için kötü huylu lezyonları doğru bir şekilde tanımlayamayabilir.
• Finansal Tahmin: Bir hisse senedi fiyatı tahmin modeli, belirli, tekrarlanamayan bir olay (tek seferlik bir ekonomik kriz gibi) tarafından yönlendirilen tarihsel piyasa eğilimlerine aşırı uyum sağlayabilir. Böyle bir model, temel piyasa dinamiklerini öğrenmek yerine geçmişteki anomalileri ezberlediği için gelecekteki hisse senedi hareketlerini doğru bir şekilde tahmin edemeyebilir.

Kod Örneği: YOLO26 ile Erken Durdurma

Ultralytics veya yerel eğitim komut dosyalarını kullanarak, erken durdurma sabrı ayarlayarak aşırı uyumu önleyebilirsiniz. Bu, doğrulama uygunluğu belirli bir sayıda dönem boyunca iyileşmezse eğitimi durdurur.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

İlgili Kavramlar

• Genelleme: Bir modelin, daha önce görülmemiş yeni verilere uyum sağlama ve iyi performans gösterme yeteneği. Aşırı uyumun tam tersidir.
• Çapraz Doğrulama: İstatistiksel analiz sonuçlarının bağımsız bir veri kümesine nasıl genelleştirileceğini değerlendirmek için kullanılan bir teknik. .
• Düzenleme: Verilen eğitim kümesine uygun bir fonksiyon uydurarak hataları azaltmak ve aşırı uydurmayı önlemek için kullanılan yöntemler. eğitim kümesi