Eğri Altındaki Alan (AUC)

ROC Eğrisini Anlamak

AUC değeri doğrudan Alıcı İşletim Karakteristiği (ROC) eğrisinden elde edilir. ROC eğrisi, ayrımcılık eşiği değiştikçe ikili bir sınıflandırıcının teşhis kabiliyetini gösteren grafiksel bir çizimdir. Hassasiyet veya Geri Çağırma olarak da bilinen Doğru Pozitif Oranı (TPR) y ekseninde, Yanlış Pozitif Oranı (FPR) x ekseninde çeşitli eşik ayarlarında çizer. AUC, bu ROC eğrisinin altındaki iki boyutlu alanın tamamını temsil eder. ROC eğrilerine kapsamlı bir genel bakış Wikipedia'da bulunabilir.

AUC'nin Yorumlanması

AUC, bir modelin rastgele seçilen pozitif bir örneği rastgele seçilen negatif bir örnekten daha yüksek sıralama olasılığı olarak yorumlanır. Bu da onu modelin genel ayırt edici gücünün bir ölçüsü haline getirir. AUC'nin en önemli avantajlarından biri, Doğruluk gibi ölçütlere kıyasla sınıf dengesizliğine karşı göreceli duyarsızlığıdır. Bir sınıfın diğerinden çok daha fazla olduğu veri kümelerinde (gerçek dünya problemlerinde yaygın bir senaryo), doğruluk yanıltıcı olabilirken, AUC modelin sınıfları ne kadar iyi ayırdığına dair daha sağlam bir ölçü sağlar. 1'e yakın bir AUC, mükemmel ayrılabilirliğe sahip bir modeli gösterirken, 0,5'e yakın bir AUC, rastgele tahmine benzer şekilde zayıf ayrımcılık yeteneğine işaret eder. Bu yorumların anlaşılması, etkili model değerlendirmesi için çok önemlidir.

Yapay Zeka ve Makine Öğrenimi Uygulamaları

AUC, ikili sınıflandırma görevlerinin kritik olduğu çeşitli alanlarda yaygın olarak kullanılmaktadır. İşte iki örnek:

1. Tıbbi Teşhis: Tıbbi görüntü analizinde, modeller genellikle hastalıkların varlığını veya yokluğunu tespit etmek için eğitilir (örneğin, tümörler, diyabetik retinopati). AUC, sağlık hizmetlerindeki bu yapay zeka modellerinin, farklı teşhis eşiklerinde görüntülere dayalı olarak sağlıklı ve hastalıklı hastaları ne kadar iyi ayırt edebildiğini değerlendirmek için kullanılır. AUC'nin tıbbi araştırmalardaki önemi iyi belgelenmiştir.
2. Dolandırıcılık Tespiti: Finans kurumları, hileli işlemleri tespit etmek için makine öğrenimi modellerini kullanır. Bu klasik bir ikili sınıflandırma problemidir (hileli ve hileli olmayan). AUC, finans alanında yapay zeka için hayati önem taşıyan yanlış alarmları en aza indirirken modelin potansiyel olarak hileli faaliyetleri işaretlemedeki genel etkinliğini değerlendirmeye yardımcı olur.

Aşağıdakiler de dahil olmak üzere birçok derin öğrenme (DL) çerçevesi ve kütüphanesi PyTorch ve TensorFlowbu sınıflandırıcıları oluşturmak için kullanılır. Scikit-learn gibi araçlar, ROC AUC puanlarını hesaplamak için uygun işlevler sunarak değerlendirme sürecini basitleştirir. Ultralytics HUB gibi platformlar da bu tür metriklerin ilgili olduğu modellerin eğitimini ve değerlendirilmesini kolaylaştırır.

AUC ve Diğer Metrikler

AUC değerli bir ölçüt olsa da, bilgisayarla görme (CV) ve makine öğrenimi alanlarında kullanılan diğer değerlendirme ölçütlerinden ne kadar farklı olduğunu anlamak önemlidir:

• AUC ve Doğruluk: Doğruluk, tahminlerin genel doğruluğunu ölçer ancak dengesiz veri kümelerinde yanıltıcı olabilir. AUC, eşikten bağımsız bir ayrılabilirlik ölçüsü sağlayarak bu gibi durumlarda daha güvenilir olmasını sağlar.
• AUC vs. Hassasiyet-Tekrar Arama: Pozitif sınıfın nadir ve birincil ilgi alanı olduğu dengesiz veri kümeleri için (örneğin, nadir hastalıkların tespiti), Hassasiyet-Geri Çağırma eğrisi ve buna karşılık gelen alan (AUC-PR), ROC AUC'den daha bilgilendirici olabilir. Hassasiyet ve Geri Çağırma gibi ölçütler özellikle pozitif sınıfla ilgili performansa odaklanır. F1-skoru da hassasiyet ve geri çağırmayı dengeler.
• AUC vs. mAP/IoU: AUC öncelikle ikili sınıflandırma görevleri için kullanılır. gibi modellerde yaygın olan nesne algılama görevleri için Ultralytics YOLOOrtalama Ortalama Hassasiyet (mAP) ve Birlik Üzerinden Kesişim (IoU) gibi metrikler standarttır. Bu metrikler, sınırlayıcı kutular kullanılarak tespit edilen nesnelerin hem sınıflandırma doğruluğunu hem de yerelleştirme hassasiyetini değerlendirir. YOLO performans metrikleri hakkında daha fazla bilgiyi buradan edinebilirsiniz. Ultralytics model karşılaştırmalarında görüldüğü gibi, farklı modellerin karşılaştırılması genellikle bu belirli metriklerin analizini içerir.

Doğru metriğin seçilmesi belirli bir probleme, veri kümesi özelliklerine (sınıf dengesi gibi) ve YZ projesinin hedeflerine bağlıdır. AUC, sağlamlığı ve yorumlanabilirliği nedeniyle ikili sınıflandırma performansını değerlendirmek için bir köşe taşı olmaya devam etmektedir.