Eğri Altındaki Alan (AUC)

Eğri Altındaki Alan (AUC), makine öğreniminde (ML) sınıflandırma modellerinin etkinliğini değerlendirmek için kullanılan yaygın olarak tanınan bir performans ölçütüdür. Bir modelin farklı sınıflar arasında ayrım yapma konusundaki genel yeteneğini ölçer ve modelin tüm olası sınıflandırma eşiklerindeki performansını temsil eden tek bir skaler değer sağlar. AUC, özellikle bir sınıfın diğer(ler)inden önemli ölçüde fazla olduğu dengesiz veri kümeleriyle uğraşırken kullanışlıdır. Genellikle bir modelin performansının grafiksel bir gösterimi olan Alıcı İşletim Karakteristiği (ROC) eğrisi ile birlikte kullanılır.

ROC Eğrisini Anlamak

Alıcı İşletim Karakteristiği (ROC) eğrisi, AUC'yi anlamak için temel bir kavramdır. ROC eğrisi, çeşitli eşik ayarlarında Gerçek Pozitif Oranını (TPR) Yanlış Pozitif Oranına (FPR) karşı çizer. Hassasiyet veya geri çağırma olarak da bilinen TPR, doğru tespit edilen gerçek pozitiflerin oranını ölçer. FPR ise yanlışlıkla pozitif olarak sınıflandırılan gerçek negatiflerin oranını ölçer. Mükemmel bir sınıflandırıcının TPR değeri 1 ve FPR değeri 0 olur, yani tüm pozitif ve negatifleri doğru bir şekilde tanımlar.

AUC Değerlerinin Yorumlanması

AUC değeri 0 ila 1 arasında değişir, burada:

• AUC = 1: Tüm pozitif ve negatif örnekleri mükemmel bir şekilde ayırt edebilen mükemmel bir sınıflandırıcıyı gösterir.
• AUC = 0,5: Sınıflandırıcının rastgele şanstan daha iyi performans göstermediğini, esasen tahminlerde bulunmak için yazı tura attığını gösterir.
• AUC < 0.5: Implies that the classifier is performing worse than random, potentially indicating an issue with the model or data.
• AUC > 0,5: Rastgele olandan daha iyi performans gösteren bir sınıflandırıcıyı temsil eder ve daha yüksek değerler daha iyi performansa işaret eder.

Genel olarak, 0,8'in üzerindeki bir AUC genellikle iyi olarak kabul edilirken, 0,9'un üzerindeki bir AUC mükemmel olarak kabul edilir. Bununla birlikte, "iyi" bir AUC'nin yorumlanması, özel uygulamaya ve sorunun karmaşıklığına bağlı olarak değişebilir.

AUC ve ROC Arasındaki İlişki

AUC, kelimenin tam anlamıyla ROC eğrisinin altındaki alandır. ROC eğrisi, farklı sınıflandırma eşiklerinde bir model için gerçek pozitif oran ile yanlış pozitif oran arasındaki değiş tokuşu görsel olarak tasvir eder. Daha yüksek AUC'ye sahip bir model, grafiğin sol üst köşesine daha yakın bir ROC eğrisine sahip olacaktır ve bu da tüm eşiklerde daha iyi performans anlamına gelir. Benzer değerlendirme metrikleri hakkında daha derin bilgi edinmek için YOLO Performans Metriklerini keşfedin.

AUC Kullanmanın Avantajları

AUC, bir performans ölçütü olarak çeşitli avantajlar sunar:

• Eşik Değişmezliği: AUC, seçilen sınıflandırma eşiğinden bağımsız olarak bir modelin genel performansını ölçer. Bu, farklı eşiklerde çalışabilen modelleri karşılaştırmak için kullanışlıdır.
• Sınıf Dengesizliği Sağlamlığı: AUC, doğruluk gibi diğer metriklere kıyasla sınıf dengesizliğine karşı daha az hassastır. Bir sınıf diğerlerinden önemli ölçüde daha yaygın olduğunda daha güvenilir bir performans ölçüsü sağlar.
• Olasılıksal Yorumlama: AUC, modelin rastgele seçilen pozitif bir örneği rastgele seçilen negatif bir örnekten daha yüksek sıralama olasılığı olarak yorumlanabilir.

AUC'nin Gerçek Dünya Uygulamaları

AUC, aşağıdakiler de dahil olmak üzere çeşitli gerçek dünya uygulamalarında kullanılır:

• Tıbbi Teşhis: Tıbbi görüntü analizinde AUC, X-ışınları veya MRI'lar gibi tıbbi görüntülerden hastalıkları tespit eden modellerin performansını değerlendirmek için kullanılabilir. Örneğin, kanserli ve iyi huylu tümörler arasında ayrım yapan bir model, teşhis doğruluğunu ölçmek için AUC kullanılarak değerlendirilebilir. Sağlık hizmetlerinde yapay zeka hakkında daha fazla bilgi edinin.
• Dolandırıcılık Tespiti: Finans alanında AUC, hileli işlemleri tespit eden modellerin etkinliğini değerlendirmek için kullanılır. Yüksek AUC'ye sahip bir model, meşru ve hileli faaliyetleri etkili bir şekilde ayırt ederek finansal kayıpları en aza indirmeye yardımcı olabilir. Yapay zekanın finans alanındaki diğer uygulamaları hakkında bilgi edinin.

AUC ve Diğer Metrikler

AUC değerli bir metrik olsa da, diğer performans ölçütleriyle birlikte değerlendirilmesi önemlidir. Örneğin, hassasiyet ve geri çağırma, modelin belirli sınıflar üzerindeki performansı hakkında bilgi sağlarken F1 puanı hassasiyet ve geri çağırmayı dengeler. Nesne algılamada yaygın olarak kullanılan Ortalama Hassasiyetin (mAP) aksine, AUC öncelikle ikili sınıflandırma problemleri için kullanılır.

Sonuç

AUC, özellikle dengesiz veri kümelerinin bulunduğu senaryolarda sınıflandırma modellerinin performansını değerlendirmek için güçlü bir metriktir. Eşik değişmezliği, sınıf dengesizliğine karşı sağlamlığı ve olasılıksal yorumu, onu modelleri değerlendirmek ve karşılaştırmak için değerli bir araç haline getirmektedir. Uygulayıcılar, ROC eğrisini ve AUC değerlerinin anlamını kavrayarak modellerinin performansı hakkında daha derin bilgiler edinebilir ve model seçimi ve optimizasyonu hakkında bilinçli kararlar verebilirler. Ultralytics YOLO modellerini aşağıdakiler gibi çeşitli formatlara nasıl aktaracağınızı öğrenebilirsiniz ONNXfarklı platformlarda optimize edilmiş çıkarım için.