术语表

准确性

了解准确性在机器学习中的重要性、准确性的计算方法、不平衡数据集的局限性以及提高模型性能的方法。

准确度是机器学习(ML)中最基本、最直观的评价指标之一。它衡量的是一个模型在所有预测中做出正确预测的比例。由于其简单性,准确率通常是开发人员了解人工智能模型性能的第一个指标,尤其是在分类任务中。在进行更细致的评估之前,它可以作为快速的健康检查。

实际应用

在许多对分类至关重要的领域,准确性都是一项关键的性能指标。这里有两个例子:

  • 医疗诊断:人工智能驱动的医疗保健领域,为医学图像分析而设计的模型可能会被训练成能将 X 光图像分类为显示肺炎迹象或未显示肺炎迹象。高准确度意味着该模型能在很高比例的病例中正确识别疾病的存在与否,为放射科医生提供可靠的支持。
  • 制造质量控制:智能制造中,计算机视觉系统可用于检测传送带上的产品。该模型可将每个产品分为 "次品 "或 "非次品"。高精确度可确保正确识别出有问题的产品以便清除,同时最大限度地减少对好产品的错误标记,从而直接影响生产效率和质量。

准确性的局限性

尽管准确度很有用,但它可能会产生很大的误导,尤其是在处理不平衡数据集时。不平衡数据集是指不同类别中的示例数量相差很大的数据集。例如,在欺诈检测中,合法交易的数量远远超过欺诈交易。一个总是预测 "非欺诈 "的模型可以达到 99% 以上的准确率,但对其预期目的却毫无用处。这是因为它无法识别罕见但关键的案例。这种情况凸显了准确率悖论,即高准确率会让人错误地认为模型是有效的。

精度与其他指标

要全面了解模型的性能,除了准确性之外,还必须考虑其他指标。

  • 精确度:衡量实际正确的正面预测比例。它回答的问题是:"在我对阳性类的所有预测中,有多少是正确的?当错误预测的代价很高时,高精度就显得至关重要。
  • 回顾:该指标也称为灵敏度,衡量正确识别的实际阳性比例。它回答的是:"在所有实际阳性案例中,我的模型发现了多少?当假阴性的代价很高时,高召回率至关重要,例如在医疗筛查中。
  • F1 评分:这是精确度和召回率的调和平均值,提供了平衡两者的单一分数。它对评估不平衡数据集上的模型特别有用,因为在不平衡数据集上,假阳性和假阴性都很重要。
  • 混乱矩阵:混淆矩阵:通过显示真阳性、真阴性、假阳性和假阴性的计数,直观显示分类模型性能的表格。它提供了计算准确率、精确率和召回率所需的数据。
  • 平均精度 (mAP):对于物体检测等更复杂的任务,mAP 是标准指标。它不仅评估分类的正确性,还评估不同置信度下预测边界框的定位精度。如需深入了解,您可以探索各种模型比较

提高模型精度

有几种技术可以帮助提高模型的准确性,但往往需要权衡其他指标或计算成本:

Model Training Tips等咨询资源可提供实用指导。Ultralytics HUB等平台允许用户训练模型,并轻松跟踪准确性和其他关键指标,通常使用TensorBoard 等工具实现可视化。通过斯坦福人工智能指数报告等资源或浏览Papers With Code上的数据集,可以跟踪该领域的进展。PyTorchTensorFlow等框架通常用于构建和训练这些模型。

总之,虽然准确性是评估人工智能模型性能的一个宝贵而直观的指标,但很少应单独使用。考虑人工智能任务的具体目标和数据的性质,尤其是潜在的不平衡或不同的错误成本,对于选择最合适的评估指标至关重要。利用可解释人工智能(XAI)技术还能提供超越单一指标值的更深入的见解。

加入 Ultralytics 社区

加入人工智能的未来。与全球创新者联系、合作和成长

立即加入
链接复制到剪贴板