Cookie 设置
点击 "接受所有 Cookie"，即表示您同意在您的设备上存储 Cookie，以增强网站导航、分析网站使用情况并协助我们的营销工作。更多信息
探索 Edge AI 和NVIDIA®）的创新技术（如 Jetson、Triton 和TensorRT）如何简化计算机视觉应用的部署。
得益于计算机视觉和人工智能（AI）领域的最新进展，曾经只是研究领域的计算机视觉系统，如今已成为各行各业具有影响力的应用。从自动驾驶汽车到医疗成像和安全，计算机视觉系统正在大规模地解决实际问题。
其中许多应用涉及实时分析图像和视频，由于延迟、成本和隐私问题，依靠云计算并不总是切实可行的。在这种情况下，边缘人工智能是一个很好的解决方案。通过直接在边缘设备上运行 Vision AI 模型，企业可以更快、更经济、更安全地处理数据，从而使实时 AI 更易于使用。
在由Ultralytics主办的年度混合盛会YOLO Vision 2024（YV24）上，核心主题之一是通过提高部署的用户友好性和效率来实现Vision AI的民主化。NVIDIA 高级解决方案架构师Guy Dahan 讨论了NVIDIA的硬件和软件解决方案（包括边缘计算设备、推理服务器、优化框架和 AI 部署 SDK）如何帮助开发人员优化边缘 AI。
在本文中，我们将探讨 Guy Dahan 在 YV24 主题演讲中的主要观点，以及NVIDIA最新的创新技术如何让 Vision AI 部署变得更快、更具可扩展性。
Guy Dahan 在演讲一开始就表达了他对加入 YV24 的热情，以及他对Ultralytics Python 软件包和 UltralyticsYOLO 模型的兴趣，他说："从Ultralytics 问世那天起，我就一直在使用它。我非常喜欢Ultralytics - 甚至在此之前我就一直在使用YOLOv5 ，我是这个软件包的真正爱好者。
然后，他介绍了边缘人工智能（Edge AI）的概念，解释说这涉及直接在摄像头、无人机或工业机器等设备上运行人工智能计算，而不是将数据发送到遥远的云服务器进行处理。
边缘人工智能无需等待图像或视频上传、分析，然后再将结果传回，而是可以在设备上即时分析数据。这使得视觉人工智能系统更快、更高效，对互联网连接的依赖性也更低。边缘人工智能尤其适用于实时决策应用，如自动驾驶汽车、安全摄像头和智能工厂。
在介绍了边缘人工智能之后，Guy Dahan 着重强调了它的主要优势，重点是效率、成本节约和数据安全。他解释说，最大的优势之一是低延迟--因为人工智能模型直接在设备上处理数据，所以无需将信息发送到云端等待响应。
边缘人工智能还有助于降低成本和保护敏感数据。将大量数据（尤其是视频流）发送到云端的成本可能很高。然而，在本地处理可降低带宽和存储成本。
另一个关键优势是数据隐私，因为信息留在设备上，而不是传输到外部服务器。这对于医疗保健、金融和安全应用尤为重要，因为在这些应用中，保持数据的本地性和安全性是重中之重。
基于这些优势，Guy Dahan 谈到了边缘人工智能日益广泛的应用。他指出，自2014NVIDIA 推出Jetson以来，使用率已经增长了10倍。如今，超过120万开发人员正在使用Jetson设备。
随后，Guy Dahan重点介绍了NVIDIA ）Jetson设备，该系列人工智能边缘计算设备旨在以低功耗提供高性能。Jetson设备是机器人、农业、医疗保健和工业自动化等领域计算机视觉应用的理想选择。"Jetsons是专为人工智能量身定制的边缘人工智能设备。我甚至可以补充说，它们最初主要是为计算机视觉而设计的，"Guy Dahan 补充道。
Jetson 设备分为三个等级，每个等级适合不同的需求：
此外，盖-达汉还分享了即将于今年推出的 Jetson AGX Thor，并表示它将提供八倍的GPU （图形处理器）性能、两倍的内存容量以及更高的CPU （中央处理器）性能。它专为仿人机器人和高级边缘人工智能应用而设计。
Guy Dahan 随后转而讨论了边缘人工智能的软件方面，并解释说，即使拥有强大的硬件，高效部署模型也是一项挑战。
最大的障碍之一是兼容性，因为人工智能开发人员经常使用PyTorch 和TensorFlow 等不同的人工智能框架。在这些框架之间移动非常困难，开发人员需要重新创建环境，以确保一切运行正常。
可扩展性是另一个关键挑战。人工智能模型需要大量的计算能力，正如达汉所说："从来没有一家人工智能公司想要更少的计算能力。"在多个设备上扩展人工智能应用很快就会变得昂贵，因此优化至关重要。
此外，人工智能管道非常复杂，通常涉及不同类型的数据、实时处理和系统集成。开发人员要花费大量精力确保他们的模型与现有软件生态系统无缝互动。克服这些挑战是提高人工智能部署效率和可扩展性的关键部分。
接下来，Guy Dahan 将目光转向了NVIDIA®）的Triton 推理服务器。他指出，许多公司和初创企业在开始开发人工智能时并没有对模型进行全面优化。从头开始重新设计整个人工智能流水线可能会造成破坏，而且耗费时间，难以有效扩展。
Triton 允许开发人员逐步完善和优化他们的人工智能工作流程，在不破坏现有设置的情况下集成更高效的组件，而不是要求对系统进行全面改造。Triton 支持包括TensorFlow、PyTorch、ONNX 和TensorRT 在内的多种人工智能框架，只需进行最少的调整，即可在云环境、数据中心和边缘设备之间实现无缝部署。
以下是NVIDIA®）Triton 推理服务器的一些主要优势：
比方说，您希望获得更高的加速度； NVIDIA TensorRT是优化人工智能模型的一个有趣选择。Guy Dahan 解释说，TensorRT 是专为NVIDIA ®）GPU 打造的高性能深度学习优化器。使用TensorRT 可以将TensorFlow、PyTorch、ONNX 和 MXNet 的模型转换为高效的GPU。
TensorRT 之所以如此可靠，是因为它针对特定硬件进行了优化。为 Jetson 设备优化的模型在其他 GPU 上的运行效率并不高，因为TensorRT 会根据目标硬件对性能进行微调。与未优化的模型相比，经过微调的计算机视觉模型可将推理速度提高 36 倍。
Guy Dahan还提到了Ultralytics对TensorRT的支持，谈到了它是如何让人工智能模型的部署变得更快、更高效的。Ultralytics YOLO 模型可以直接导出为TensorRT 格式，开发人员无需做任何改动即可针对NVIDIA ®）GPU 对其进行优化。
在演讲的最后，Guy Dahan展示了DeepStream 7.0--一个专为使用NVIDIA ®）GPU实时处理视频、音频和传感器数据而设计的人工智能框架。该框架专为支持高速计算机视觉应用而构建，能够在自主系统、安全、工业自动化和智能城市中实现物体检测、跟踪和分析。通过直接在边缘设备上运行人工智能，DeepStream 消除了对云的依赖，减少了延迟并提高了效率。
具体来说，DeepStream 可以自始至终处理人工智能驱动的视频处理。它支持从视频解码和预处理到人工智能推理和后处理的端到端工作流程。
最近，DeepStream 推出了几项更新，以加强人工智能的部署，使其更易于使用和扩展。新工具简化了开发过程，改进了多摄像头跟踪，并优化了人工智能管道以提高性能。
开发人员现在可以扩大对 Windows 环境的支持，增强传感器融合功能以整合来自多个来源的数据，并访问预构建的参考应用程序以加速部署。这些改进使 DeepStream 成为更灵活、更高效的实时人工智能应用解决方案，帮助开发人员轻松扩展智能视频分析。
正如 Guy Dahan 在 YV24 大会上的主题演讲中所述，边缘人工智能正在重新定义计算机视觉应用。随着硬件和软件的进步，实时处理的速度越来越快，效率越来越高，成本效益也越来越高。
随着越来越多的行业采用边缘人工智能，解决碎片化和部署复杂性等挑战将成为释放其全部潜力的关键。拥抱这些创新将推动更智能、反应更灵敏的人工智能应用，塑造计算机视觉的未来。
成为我们不断发展壮大的社区的一员！探索我们的 GitHub 存储库，了解有关人工智能的更多信息，并查看我们的许可选项，启动您的 Vision AI 项目。对医疗保健中的人工智能和制造业中的计算机视觉等创新感到好奇？访问我们的解决方案页面了解更多！
