可解释的人工智能（XAI）

可解释的人工智能为何重要

对 XAI 的需求源于人工智能日益融入各行各业的高风险决策。虽然人工智能模型，如 Ultralytics YOLO等用于物体检测的人工智能模型可以达到极高的准确性，但理解这些模型为何能得出特定结论却至关重要。这种可解释性的缺乏可能会成为人工智能在医疗保健和金融等领域的障碍。采用 XAI 的主要动机包括

• 建立信任：如果用户和利益相关者能够理解人工智能系统产出背后的原因，他们就更有可能信任和采用人工智能系统。
• 调试和改进：了解模型行为有助于开发人员找出缺陷，进行有效的模型评估和微调，并提高性能。
• 遵守法规： 欧盟《通用数据保护条例》（GDPR）等法规可能要求对影响个人的自动决策做出解释。
• 识别偏见：XAI 可以帮助发现和减少人工智能中的偏见，促进人工智能的公平性。
• 加强问责制：清晰的解释使人工智能系统出错时更容易分清责任，符合人工智能伦理原则。

优势和应用

实施 XAI 有很多好处，包括增强用户信心、简化调试过程以及促进负责任的人工智能部署。XAI 技术可应用于众多领域：

• 医疗保健 - 医学图像分析：在医学图像分析中，人工智能可能会从 X 光片中检测出疾病的迹象。XAI 技术可以突出图像中导致模型做出诊断的特定区域或特征（如纹理、形状）。这样，放射科医生就可以根据自己的专业知识来验证人工智能的发现，从而增强对该工具的信心，并有可能发现错误。这对于满足美国食品及药物管理局（FDA）对医疗设备中人工智能/移动医疗的标准至关重要。了解更多医疗保健领域的人工智能解决方案。
• 金融 - 信用评分：当人工智能模型拒绝贷款申请时，XAI 可以解释哪些因素（如信用历史长度、债务收入比、具体交易）对该决定影响最大。这有助于金融机构遵守《平等信贷机会法》等法规，该法要求信贷机构提供拒绝理由，并有助于确保决策不存在算法偏见。

XAI 技术

实现可解释性的方法多种多样，其方法往往各不相同（例如，解释单个预测与解释整体模型行为）。一些常见的技术包括

• LIME（本地可解释模型-不可知论解释）：使用更简单、可解释的模型来近似复杂模型在特定预测周围的局部行为。了解有关 LIME 的更多信息。
• SHAP（SHapley Additive exPlanations）：利用合作博弈论的概念，为特定预测的每个特征分配重要性值。发现 SHAP 值。
• 注意力机制：特别是在变形金刚等模型中，注意力分数有时可以显示模型在生成输出时最关注输入数据的哪些部分。

DARPA XAI 计划等研究项目极大地推动了这些技术的发展。

XAI 与相关概念

必须将 XAI 与相关术语区分开来：

• 人工智能的透明度： 人工智能的透明度是指人工智能系统运作的可见性，包括其架构、训练数据及其性能指标。虽然透明度提供的是基础信息，但 XAI 特别注重为模型做出特定决策或预测的原因生成人类可理解的解释。
• 可观察性 可观察性是一种更广泛的系统属性，涉及通过检查日志、指标和跟踪等外部输出来了解系统（包括人工智能/ML 模型）内部状态的能力。这对MLOps和模型监控至关重要，可实现调试和性能跟踪。XAI 是一个特定的子集，专注于使模型输出背后的推理具有可解释性。

挑战和考虑因素

实现有意义的可解释性可能很复杂。正如"视觉模型的历史"中所讨论的，模型的性能（准确性）和可解释性之间往往存在权衡；高度复杂的模型可能更准确，但却更难解释。此外，公开详细的模型逻辑可能会引起对知识产权或恶意操纵的担忧。人工智能合作伙伴关系等组织致力于应对这些道德和实际挑战。

Ultralytics通过工具和资源促进对模型行为的理解。Ultralytics HUB中的可视化功能和Ultralytics 文档中的详细指南（如YOLO 性能指标的解释）可帮助用户评估和解释模型，例如 Ultralytics YOLOv8.