可观察性

什么是可观察性？

可观察性是指通过检查系统的输出（如日志、指标和跟踪）来测量和了解系统内部状态的能力。与传统监控不同，传统监控通常侧重于预定义的仪表盘和已知的故障模式（例如，CPU、内存、硬盘等）、 CPU使用率、错误率）不同，可观察性使团队能够主动探索系统行为并诊断新问题--甚至是开发过程中没有预料到的问题。在MLOps（机器学习运营）的背景下，它允许提出更深层次的问题，以了解系统为什么会以某种方式运行，这对于 ML模型开发和部署的迭代性质至关重要。这是为了获得复杂系统（包括深度学习模型）的可见性。

为什么可观察性在人工智能/移动语言中很重要？

深度学习模型的复杂性和通常的 "黑箱 "性质使得可观测性变得不可或缺。主要原因包括

• 性能优化：识别推理流水线或分布式训练过程中的瓶颈，优化资源使用（包括GPU），并改进推理延迟等指标。
• 可靠性和调试：快速检测和诊断问题，如数据漂移、模型随时间退化或输入数据中的边缘情况导致的意外行为。这有助于保持模型的准确性和稳健性。
• 信任与可解释性：提供对模型预测和行为的见解，支持可解释人工智能（XAI）和建立用户信任的工作，尤其是在自动驾驶汽车或医疗保健等关键应用领域。
• 合规与治理：通过记录决策和监控算法偏差，确保模型在规定的道德界限（人工智能道德）内运行，并满足监管要求。人工智能的透明度是一个关键优势。

可观察性与监测

可观测性和监控虽然相互关联，但在范围和目的上有所不同。监控涉及收集和分析有关预定义指标的数据，以根据已知基准跟踪系统健康状况（例如，跟踪已部署对象检测模型的mAP 分数）。它能回答 "系统是否正常运行？"或 "错误率是否低于 X？"等问题。模型监控是一种特定类型的监控，主要针对生产中的 ML 模型。

而可观察性则利用数据输出（日志、度量、跟踪，通常被称为"可观察性的三大支柱"）来进行更深入的探索性分析。它能让你了解系统状态背后的 "原因"，尤其是意外状态。将监控看作是查看报告已知问题的仪表板，而可观察性则提供了调查任何已知或未知异常情况的工具（如查询日志或跟踪请求）。它有助于调试复杂的系统。

主要组成部分（三大支柱）

可观测性主要依靠三类遥测数据：

1. 日志：日志：系统内发生的离散事件的时间戳记录。日志提供详细的上下文信息，有助于调试特定事件或了解操作顺序。例如，错误信息、应用程序事件或请求详情。
2. 度量：在时间间隔内测量的系统性能或行为的数字表示。度量指标可用于跟踪趋势、设置警报和了解整体系统健康状况（如请求延迟、错误率、资源利用率），具有汇总性和高效性。
3. 跟踪：显示请求或操作在分布式系统各组件中传播过程的记录。跟踪有助于可视化流程、识别性能瓶颈并了解服务之间的依赖关系，这对微服务架构或复杂的ML 管道至关重要。

实际应用

可观察性实践对于复杂的人工智能/ML 部署至关重要：

• 自动驾驶系统：在人工智能汽车解决方案中，可观察性至关重要。来自传感器（如激光雷达、摄像头）的日志、感知模型推理速度的指标，以及跟踪从感知到控制的决策过程的轨迹，都需要不断地进行分析。这有助于Waymo等公司的工程师诊断罕见故障（如在特定天气条件下错误识别物体），确保系统的安全性和可靠性。
• 医学图像分析：在为医学图像分析部署人工智能时，可观察性有助于确保诊断质量。指标可追踪模型的置信度和与放射科医生的一致率。日志记录边缘病例或标记审查的图像。轨迹可跟踪图像从摄取到预处理、推理和报告的整个过程，帮助识别错误或延迟的来源，并保持符合医疗保健法规（放射学人工智能研究）。

工具和平台

实现可观察性通常需要专门的工具和平台。像Prometheus（度量）、Grafana（可视化）、Loki（日志）和Jaeger或Zipkin（跟踪）这样的开源解决方案很受欢迎。OpenTelemetry提供了一个厂商中立的仪器标准。Datadog、New Relic 和Dynatrace等商业平台提供集成解决方案。MLOps 平台，如MLflow、 Weights & Biases和 ClearML等 MLOps 平台通常都具有跟踪实验和监控模型的功能，有助于提高整个系统的可观察性。Ultralytics HUB方便管理训练运行、数据集和部署的模型，并与TensorBoard等工具集成，实现指标的可视化，这是模型训练阶段可观察性的一个关键方面。