المساحة تحت المنحنى (AUC)

فهم منحنى ROC

يُشتق AUC من منحنى خاصية الاستقبال والتشغيل (ROC)، وهو عبارة عن مخطط بياني يوضح القدرة التشخيصية لنظام تصنيف ثنائي مع تغير عتبة التمييز الخاصة به. يرسم منحنى ROC معدل الإيجابية الحقيقية (TPR)، والمعروف أيضًا باسم الحساسية أو الاسترداد، مقابل معدل الإيجابية الكاذبة (FPR) في إعدادات عتبة مختلفة. يقيس مقياس AUC إجمالي المساحة ثنائية الأبعاد أسفل منحنى ROC بأكمله، مما يوفر قيمة قياسية واحدة تلخص أداء النموذج عبر جميع العتبات.

تفسير مفوضية الاتحاد الأفريقي

توفر درجة AUC مقياسًا شاملاً لأداء تصنيف النموذج، بغض النظر عن العتبة المحددة المختارة للتصنيف. تتضمن التفسيرات الرئيسية ما يلي:

• AUC = 1: مصنف مثالي.
• AUC = 0.5: مصنف عشوائي (لا توجد قدرة تمييزية).
• AUC < 0.5: Classifier performs worse than random guessing (often indicates mislabeled data or model issues).
• 0.5 < AUC < 1: Classifier has some discriminative ability; higher values are better.

تتمثل إحدى المزايا المهمة لمعيار AUC في عدم حساسيته النسبية لاختلال التوازن بين الفئات مقارنةً بمقاييس مثل الدقة. وهذا يجعلها مفيدة بشكل خاص عند تقييم النماذج المدرّبة على مجموعات بيانات تفوق فيها إحدى الفئتين الفئة الأخرى بشكل كبير. للتعمق أكثر في تفسير منحنيات ROC، تقدم ويكيبيديا نظرة عامة جيدة.

تطبيقات في الذكاء الاصطناعي والتعلم الآلي

تُستخدم مفوضية الاتحاد الأفريقي على نطاق واسع في مختلف المجالات التي يكون فيها التصنيف الثنائي أمرًا بالغ الأهمية:

• التشخيص الطبي: تقييم النماذج التي تتنبأ بوجود أو عدم وجود مرض ما بناءً على أعراض المريض أو الاختبارات التشخيصية، كما هو الحال في تحليل الصور الطبية. على سبيل المثال، تقييم قدرة نموذج الذكاء الاصطناعي على التمييز بين الأورام الحميدة والخبيثة من فحوصات التصوير بالرنين المغناطيسي. فائدته في الأبحاث الطبية موثقة جيدًا.
• الكشف عن الاحتيال: تقييم النماذج المصممة لتحديد المعاملات أو الأنشطة الاحتيالية. ومن الأمثلة على ذلك تقييم النموذج الذي يحدد معاملات بطاقات الائتمان على أنها احتيالية أو شرعية محتملة.
• تصفية الرسائل غير المرغوب فيها: قياس فعالية مرشحات البريد الإلكتروني المزعج في التمييز بين رسائل البريد الإلكتروني المزعج ورسائل البريد الإلكتروني المشروعة.
• تحليل المشاعر: تقييم النماذج التي تصنف النصوص (مثل مراجعات العملاء) على أنها ذات مشاعر إيجابية أو سلبية.

توفر أدوات مثل Scikit-learn وظائف لحساب درجات ROC AUC بسهولة.

مفوضية الاتحاد الأفريقي مقابل المقاييس الأخرى

على الرغم من قيمة AUC، إلا أنه من المهم فهم علاقتها بمقاييس التقييم الأخرى:

• الدقة: على عكس AUC، تقيس الدقة نسبة التنبؤات الصحيحة بشكل عام. ويمكن أن تكون مضللة في مجموعات البيانات غير المتوازنة، بينما توفر الدقة مقياسًا أفضل لقابلية الفصل.
• منحنى دقة الاستدعاء (PRC): بالنسبة لمجموعات البيانات غير المتوازنة إلى حد كبير حيث تكون الفئة الإيجابية نادرة ولكنها مهمة (على سبيل المثال، الكشف عن الاحتيال)، قد تكون المنطقة تحت منحنى الدقة-الاستدعاء (AUC-PR أو PR-AUC) أكثر إفادة من ROC AUC. تركز الدقة على صحة التنبؤات الإيجابية.
• متوسط متوسط الدقة (mAP): يعد هذا المقياس معيارًا لتقييم نماذج اكتشاف الكائنات مثل Ultralytics YOLOيأخذ mAP في الاعتبار كلاً من دقة التصنيف ودقة التوطين (غالبًا باستخدام التقاطع على الاتحاد (IoU)) عبر فئات متعددة من الكائنات وعتبات الثقة، مما يجعله مختلفًا عن التركيز على التصنيف الثنائي ل AUC. يمكنك معرفة المزيد حول مقاييس أداءYOLO هنا.

الاعتبارات

في حين أن AUC هو مقياس قوي، إلا أنه يلخص الأداء عبر جميع العتبات ولا يعكس الأداء عند نقطة تشغيل محددة تم اختيارها للنشر. اعتمادًا على تكاليف التطبيق المرتبطة بالإيجابيات الكاذبة مقابل السلبيات الكاذبة، قد يكون من الضروري استخدام مقاييس أخرى أو فحص منحنى ROC مباشرةً. تسلط بعض المناقشات الضوء على القيود المحتملة أو التفسيرات الخاطئة لمقياس معدل استخدام المستهلك AUC. يوفر دمج AUC مع مقاييس أخرى رؤية أكثر شمولية أثناء تقييم النموذج. تساعد المنصات مثل Ultralytics HUB في إدارة ومقارنة أداء النموذج عبر مقاييس مختلفة أثناء التدريب والنشر.