实时推理

了解实时推理

在实践中，实时推理意味着部署一个 ML 模型，例如 Ultralytics YOLO模型，这样它就能分析单个数据输入（如视频帧或传感器读数），并以最小的延迟产生输出。关键的性能指标是推理延迟，即从接收输入到生成预测所需的时间。实现低延迟通常需要采取多种策略：

• 模型优化： 模型量化（降低模型权重的精度）和模型剪枝（去除不重要的模型参数）等技术用于创建更小、更快的模型。
• 硬件加速：利用专门的硬件，如GPU、TPU 或边缘设备上的专用人工智能加速器（如NVIDIA Jetson、Google Coral EdgeTPU），可显著加快计算速度。
• 高效软件：使用优化的推理引擎和运行时，如 TensorRT, OpenVINO或ONNX Runtime等优化推理引擎和运行时，有助于最大限度地提高目标硬件的性能。框架，如 PyTorch等框架也提供了支持高效推理的功能。

实时推理与批量推理

主要区别在于处理数据的方式和相关的延迟要求：

• 实时推理：在单个数据点或小批量数据到达时进行处理。重点是尽量减少延迟，以获得即时结果。是交互式系统或对实时事件做出反应的应用程序的理想选择。
• 批量推理：处理长期积累的大量数据。重点是最大化吞吐量（高效处理大量数据），而不是最小化单个预测的延迟。适用于离线分析、报告或即时结果并不重要的任务，详见Google 批量预测概述。

实时推理的应用

实时推理为许多现代人工智能应用提供了动力，在这些应用中，即时决策至关重要：

1. 自主系统：自动驾驶汽车在很大程度上依赖实时推理来进行物体检测（识别行人、车辆、障碍物）和导航，使车辆能够对周围环境做出即时反应。Ultralytics 模型通常用于开发自动驾驶汽车的人工智能。
2. 安防与监控：人工智能驱动的安防系统利用实时推理来检测入侵、识别可疑活动或监控实时视频画面中的人群，从而实现即时警报和响应。
3. 医疗诊断：在医疗图像分析中，实时推理可在手术过程中为医生提供即时反馈，或突出显示实时成像（如超声波）中的异常情况，从而提高诊断准确性。
4. 工业自动化：实时推理可即时识别生产线上的缺陷或引导机械臂完成精确任务，从而实现制造业的自动化质量控制。

Ultralytics HUB等平台提供了训练、优化和部署模型的工具，有助于在各种部署方案中实施实时推理解决方案。