实时推理是指机器学习模型处理数据并几乎在瞬间做出预测的能力。这对于自动驾驶汽车、医疗监控和实时视频分析等需要即时决策的应用至关重要。与批处理不同，实时推理是在数据到达时处理每个数据点，提供即时结果。
实时推理在使人工智能系统与现实世界及时互动方面发挥着举足轻重的作用。例如，自动驾驶汽车依靠传感器提供的实时数据做出瞬间导航决策。同样，在医疗保健领域的人工智能中，对病人生命体征的持续监测可在发现异常时立即触发警报。
在人工智能智能家居解决方案等应用中，实时功能增强了用户体验，人工智能驱动的系统可根据用户行为动态调整照明、温度和安全设置。
实时推理通常涉及在 GPU 或TPU 等强大硬件上部署训练有素的模型，这些硬件可以处理计算需求。像 Ultralytics YOLO等模型已针对速度进行了优化，使其能够在各种平台上实时执行物体检测。
与边缘计算集成（计算在靠近数据源的地方进行）可通过减少延迟进一步提高实时推理的效率。了解有关利用Ultralytics HUB 在边缘设备上部署 无缝机器学习模型的更多信息。
实时推理最重要的应用之一是自动驾驶。自动驾驶汽车中的人工智能》展示了自动驾驶汽车如何利用传感器和人工智能模型监控环境、检测障碍物并即时做出驾驶决策。
在零售业，实时推理可以通过提高人工智能驱动的库存系统的效率来优化库存管理。可视化人工智能系统可帮助企业保持准确的库存水平、减少损耗并有效满足客户需求。
实时推理侧重于即时数据处理，而批处理（Batch Processing in Computing）等概念则是按计划时间分组收集和处理数据。相比之下，实时系统始终处于活动状态，不断处理数据。
理解 "模型部署"涉及使 ML 模型随时可以使用，包括设置实时运行环境，这与实时推理有所区别。
硬件功能和模型优化技术的不断改进，如通过剪枝和量化优化模型，有助于加快实时推理的速度。但挑战依然存在，特别是在模型大小、功耗和确保准确性的同时不延误时间方面。通过Ultralytics YOLOv8 和OpenVINO 探索实现更快推理速度的方法。
实时推理对于在动态环境中充分发挥人工智能的潜力至关重要。随着技术的进步，其应用范围也将不断扩大，为各行各业提供创新解决方案。有兴趣探索这些技术的人可以尝试使用Ultralytics HUB for Model Deployment，这是一个简化实时处理的平台。
