可观察性

人工智能（AI）和机器学习（ML）中的可观察性是指通过分析系统产生的外部输出来监控、了解和优化系统内部状态、行为和性能的能力。它为模型或系统在训练、验证和部署过程中如何运行提供了重要的洞察力，使从业人员能够发现问题、提高性能并确保可靠性。可观察性是维护人工智能系统稳健性的基石，尤其是在生产环境中，透明度和问责制是至关重要的。

可观察性在人工智能和 ML 中的重要性

可观察性在人工智能/人工智能系统的生命周期中发挥着至关重要的作用，它具有以下优点

• 模型性能管理：通过跟踪准确率、精确度、召回率和 F1 分数等指标，团队可以评估模型在特定任务中的表现。了解有关F1 分数和准确率 等性能指标的更多信息。
• 错误诊断：观察混淆矩阵或错误率等输出结果有助于找出模型中表现不佳的地方。例如，混淆矩阵可以突出物体检测任务中的错误分类。
• 数据漂移检测：可观测性工具可以监测数据漂移，当输入数据的分布随时间发生变化时，数据漂移就会降低模型的有效性。
• 系统问责制：对模型决策的透明监控可确保公平性，并符合人工智能伦理原则，这对于在医疗保健和金融等敏感应用领域建立信任至关重要。

可观察性的核心要素

人工智能/人工智能系统的可观察性通常包括三个主要部分：

1. 指标跟踪

   • 损失函数、延迟和吞吐量等度量指标提供了对系统性能的量化见解。探索如何在训练过程中使用损失函数来评估模型。
   • TensorBoard 和Weights & Biases 等工具可以实时跟踪这些指标，从而对模型进行有效监控。

2. 记录

   • 日志记录包括捕获系统事件的详细信息，如错误、警告和 API 调用。这些日志可用于诊断问题和了解系统行为。

3. 追踪

   • 跟踪可追踪整个系统的数据流和操作流，有助于发现瓶颈或效率低下的问题。

可观察性在现实世界中的应用

自动驾驶汽车

在自动驾驶汽车中，可观测性可确保负责实时决策的人工智能模型的可靠性和安全性。例如，系统可以监控推理延迟等指标，确保物体检测模型在可接受的时间范围内运行。了解有关自动驾驶中的人工智能的更多信息。

医疗诊断

在医学影像领域，可观测性被用于跟踪模型预测和识别结果异常。例如，即使模型遇到不同的患者数据集，监控医学图像分析系统也能确保诊断的一致性和准确性。

可观察性与相关概念

可观察性与监控和调试等相关概念有相似之处，但其范围更广：

• 监控：侧重于跟踪预定义的指标或阈值。而可观察性则旨在深入了解系统 "为何 "会有某种行为，而不仅仅是 "发生了什么"。
• 调试：调试：包括识别和修复模型或系统中的特定错误。可观察性提供了有效调试所需的数据和背景。

支持可观察性的工具和框架

一些工具和平台增强了人工智能/移动语言的可观测性：

• Ultralytics HUB：一个无代码平台，用于管理、监控和部署类似.NET 的模型。 Ultralytics YOLO.HUB 提供指标跟踪、可视化和部署功能，以提高可观察性。
• Weights & Biases:实验跟踪、数据可视化和模型性能监控的强大工具。了解有关Weights & Biases 集成的更多信息。
• MLflow：管理 ML 生命周期的平台，包括实验跟踪、模型部署和可观测性。了解MLflow 与YOLO 模型的集成。

结论

可观察性是有效人工智能/人工智能系统的关键推动因素，可提供透明度、提高可靠性并实现持续优化。通过利用可观察性工具和实践，企业可以确保其人工智能应用在现实世界中高效、负责任地运行。了解Ultralytics HUB 如何简化可观测性，并使用户能够无缝监控和优化其人工智能系统。