曲线下面积 (AUC)

什么是大鹏曲线？

AUC 与接收者工作特征曲线 (ROC) 有内在联系。ROC 曲线是在不同阈值设置下，将真阳性率 (TPR) （也称召回率）与假阳性率 (FPR) 相对比的图形。AUC 就是 ROC 曲线下的面积。ROC 曲线直观地显示了模型在灵敏度和特异性之间的权衡，而 AUC 分数则将这种权衡量化为一个数字，从而简化了模型比较。

解读 Auc 分数

AUC 值从 0 到 1 不等，得分越高表示模型越好。

• AUC = 1：这代表一个完美的模型，能正确分类所有阳性和阴性实例。每个正样本的预测概率都高于每个负样本。
• AUC = 0.5：这表明模型没有判别能力，相当于随机猜测。这种模型的 ROC 曲线是一条对角直线。
• AUC < 0.5: A score below 0.5 suggests the model is performing worse than random chance. In practice, this often points to an issue with the model or data, such as inverted predictions.
• 0.5 < AUC < 1: This range signifies that the model has some ability to discriminate. The closer the value is to 1, the better the model's performance.

Scikit-learn等工具提供了轻松计算 AUC 分数的功能，这些分数可以通过TensorBoard 等平台进行可视化。

实际应用

在许多需要进行二元分类的领域，AUC 都是一个有价值的指标。

1. 医学图像分析：在医疗保健领域的人工智能中，开发了用于从医学扫描中检测肿瘤等任务的模型。AUC 分数用于评估模型区分恶性（阳性）和良性（阴性）病例的能力。高 AUC 对于建立可靠的诊断工具至关重要，它可以帮助放射科医生确保高灵敏度，同时不会出现过多的误报。这对分析脑肿瘤数据集等数据集的模型至关重要。
2. 欺诈检测：在金融行业，人工智能模型用于识别欺诈交易。该领域的数据集通常高度不平衡，合法交易远远多于欺诈交易。AUC 在这方面特别有用，因为它提供了一个稳健的性能衡量标准，不会像准确率那样被大多数类别所左右。它可以帮助金融机构建立有效捕捉欺诈的系统，同时最大限度地减少可能给客户带来不便的误报。领先的金融机构依靠此类指标进行风险评估。

Auc Vs.其他指标

虽然 AUC 是一个有价值的指标，但重要的是要了解它与计算机视觉 (CV)和 ML 中使用的其他评估指标有何不同：

• AUC 与准确率： 准确度衡量预测的整体正确性，但在不平衡数据集上可能会产生误导。AUC 提供了一种独立于阈值的可分离度量，因此在这种情况下更为可靠。
• AUC 与精度-召回对比：对于不平衡的数据集来说，正类是罕见的，也是主要的关注点（如检测罕见疾病），精度-召回曲线及其相应的面积（AUC-PR）可能比 ROC AUC 更有参考价值。精确度和召回率等指标特别关注阳性类的性能。F1 分数也兼顾了精确度和召回率。
• AUC 与 mAP/IoU：AUC 主要用于二元分类任务。对于Ultralytics YOLO 等模型常见的物体检测任务，平均精度 (mAP)和交集大于联合 (IoU)等指标是标准指标。这些指标同时评估使用边界框检测到的对象的分类准确度和定位精度。您可以在此了解有关YOLO 性能指标的更多信息。

选择正确的指标取决于具体问题、数据集特征（如类平衡）以及人工智能项目的目标。AUC 凭借其稳健性和可解释性，仍然是评估二元分类性能的基石。使用Ultralytics HUB等工具跟踪实验有助于有效管理和比较这些指标。