曲线下面积 (AUC)

了解 ROC 曲线

AUC 源自接收者工作特征曲线 (ROC)，该曲线是二元分类器系统的诊断能力随其判别阈值变化而变化的图形。ROC 曲线是真阳性率（TPR）（也称为灵敏度或召回率）与不同阈值设置下假阳性率（FPR）的对比图。AUC 指标量化了整条 ROC 曲线下方的二维总面积，提供了一个单一的标量值来概括模型在所有阈值下的性能。

AUC 的解释

AUC 分数可全面衡量模型的分类性能，与所选的具体分类阈值无关。主要解释包括

• AUC = 1：完美分类器。
• AUC = 0.5：随机分类器（无判别能力）。
• AUC < 0.5: Classifier performs worse than random guessing (often indicates mislabeled data or model issues).
• 0.5 < AUC < 1: Classifier has some discriminative ability; higher values are better.

与精度等指标相比，AUC 的一个显著优势是对类不平衡相对不敏感。这使得它在评估数据集上训练的模型时特别有用，因为在这些数据集上，一类的数量明显多于另一类。要深入了解 ROC 曲线，维基百科提供了很好的概述。

人工智能和 ML 的应用

AUC 被广泛应用于对二元分类至关重要的各个领域：

• 医学诊断：评估根据患者症状或诊断测试（如医学图像分析）预测疾病存在与否的模型。例如，评估人工智能模型从核磁共振扫描中区分良性肿瘤和恶性肿瘤的能力。人工智能在医学研究中的用途有据可查。
• 欺诈检测：评估旨在识别欺诈交易或活动的模型。例如，评估将信用卡交易标记为潜在欺诈或合法的模型。
• 垃圾邮件过滤：衡量垃圾邮件过滤器在区分垃圾邮件和合法邮件方面的有效性。
• 情感分析：评估将文本（如客户评论）划分为正面或负面情感的模型。

Scikit-learn等工具提供了轻松计算 ROC AUC 分数的功能。

AUC 与其他指标的比较

虽然 AUC 很有价值，但了解它与其他评价指标的关系也很重要：

• 准确率：与 AUC 不同，准确率衡量的是总体预测的正确率。在不平衡的数据集上，它可能会产生误导，而 AUC 则能更好地衡量可分性。
• 精度-召回曲线（PRC）：对于阳性类很少但很重要的高度不平衡数据集（如欺诈检测），精度-召回曲线（AUC-PR 或 PR-AUC）下的面积可能比 ROC AUC 更有参考价值。精度侧重于正向预测的正确性。
• 平均精度 (mAP)：该指标是评估物体检测模型的标准，如 Ultralytics YOLOmAP同时考虑了多个对象类别和置信度阈值的分类准确度和定位精度（通常使用 "交集大于联合"（IoU）），因此有别于 AUC 的二元分类重点。您可以在此了解有关YOLO 性能指标的更多信息。

考虑因素

虽然 AUC 是一个强大的指标，但它总结了所有阈值的性能，并不能反映为部署而选择的特定操作点的性能。根据应用程序与假阳性和假阴性相关的成本，可能需要使用其他指标或直接检查 ROC 曲线。一些讨论强调了AUC 的潜在局限性或误解。在模型评估过程中，将 AUC 与其他指标整合在一起可以提供更全面的视角。Ultralytics HUB等平台有助于在训练和部署过程中管理和比较各种指标的模型性能。