绿色检查
链接复制到剪贴板

Ultralytics YOLO11 NVIDIA Jetson Orin Nano Super:快速高效

探索在NVIDIA Jetson Orin Nano Super 上部署Ultralytics YOLO11 如何为高级人工智能应用提供令人印象深刻的基准测试和GPU 加速性能。

NVIDIA Jetson Orin Nano 超级开发者套件于 2024 年 12 月 17 日发布,是一款小巧但功能强大的生成式人工智能超级计算机,旨在为边缘计算带来先进功能。它便于实时处理,无需云计算。NVIDIA Jetson Orin Nano Super 可让开发人员构建经济实惠的智能系统,在本地环境中高效工作。

当与Ultralytics YOLO 等 型号搭配使用时,JetsonOrin Nano Super 可以处理边缘的大量视觉人工智能应用。 Ultralytics YOLO11等模型时,Jetson Orin Nano Super 可以处理大量的边缘视觉人工智能应用。特别是,YOLO11 是一种计算机视觉模型,在物体检测、物体跟踪和实例分割等任务中以速度和准确性著称。 

将YOLO11的能力与套件强大的GPU (图形处理单元)和对PyTorch 、ONNX 和NVIDIA TensorRT 等框架的支持相结合,可实现高性能部署。这种组合为开发人员提供了创建人工智能应用的高效解决方案,从机器人技术中的物体检测到智能空间和零售系统中的实时物体跟踪,无所不包。

在本文中,我们将介绍NVIDIA Jetson Orin Nano 超级开发者工具包、它如何与Ultralytics YOLO11 配合实现边缘人工智能、它的性能基准、实际应用以及它如何帮助开发者构建视觉人工智能项目。让我们开始吧!

NVIDIA Jetson Orin Nano 超级显影套件是什么?

NVIDIA Jetson Orin Nano 超级开发者套件是一款小巧而强大的计算机,为小型边缘设备重新定义了生成式人工智能。它可提供高达 67 TOPS(每秒万亿次运算)的人工智能性能,是开发人员、学生和业余爱好者研究高级人工智能项目的理想之选。

图 1.NVIDIA Jetson Orin Nano Super 的概览。

以下是它的一些主要功能:

  • GPU 性能:该设备采用NVIDIA Ampere 架构GPU ,其中包括 1,024 个CUDA 内核和 32 个Tensor 内核。CUDA 内核可同时处理多项任务,加快复杂计算速度,而Tensor 内核则专门用于深度学习等人工智能任务。 
  • 强大的CPU :它配备了 6 核 Arm Cortex-A78AE 处理器,旨在兼顾速度和效率。该设备可以流畅地处理多项任务,同时保持较低的能耗。这对于在本地运行而无法使用大型电源的系统来说非常重要。
  • 高效内存:该套件配备 8GB LPDDR5(低功耗双倍数据速率 5)内存。LPDDR5 是一种针对速度和能效进行了优化的 RAM(随机存取存储器),可让设备在处理大型数据集和实时处理时不消耗过多电能。
  • 连接选项:它包括用于快速数据传输的 USB 3.2 端口、用于强大网络连接的千兆以太网端口以及用于集成传感器或摄像头的摄像头接口。 
  • 人工智能开发工具:Jetson Orin Nano Super 可与NVIDIA JetPack SDK 配合使用,JetPack SDK 提供CUDA 等工具,用于加快计算速度和优化人工智能模型。 TensorRT优化人工智能模型的工具。这些工具使开发人员更容易快速高效地构建和部署人工智能应用。

性能基准:Jetson Orin Nano Super VS Orin NX 16GB

如果您熟悉NVIDIA的工作,您可能会想知道这款新产品与现有的NVIDIA Jetson Orin NX 16GB(不含超级模式)相比如何。虽然 Jetson Orin NX 具有更高的整体性能,但 Jetson Orin Nano 超级开发套件只需花费很少的成本就能提供令人印象深刻的性能。 

图 2. NVIDIA Jetson Orin 生态系统一览。

下面是简要概述:

  • 人工智能性能:Jetson Orin Nano Super 可提供高达 67 TOPS 的性能,非常适合大多数边缘 AI 任务,而 Jetson Orin NX 可为要求更高的应用提供高达 100 TOPS 的性能。
  • 内存Jetson Orin Nano Super 包括 8GB LPDDR5,足以满足实时任务的需求,而 Orin NX 则将其翻倍至 16GB,以满足更大的工作负载需求。
  • 电源效率:与 Jetson Orin NX 的高功率需求相比,Jetson Orin Nano Super 更节能,可在 7W 至 25W 之间配置。
  • GPU:两者共享NVIDIA Ampere 架构,具有 1,024 个CUDA 内核和 32 个Tensor 内核,可提供强大的GPU 性能。

YOLO11 Jetson Orin Nano Super:将视觉人工智能带入边缘世界

现在,我们对 Jetson Orin Nano Super 有了更深入的了解,让我们来看看YOLO11 如何介入,将 Vision AI 功能带到边缘。Ultralytics YOLO 模型,包括YOLO11 ,具有训练、预测和输出等多种模式,使其能够适应各种 AI 工作流程。 

例如,在训练模式下,Ultralytics YOLO 模型可在定制数据集上进行微调和训练,以实现特定应用,如检测独特物体或优化特定环境。同样, 预测模式专为推理而设计,可用于实时计算机视觉任务。最后,导出模式可用于将模型转换为优化部署的格式。

图 3. Ultralytics YOLO 型号支持各种功能和模式。

YOLO11 在导出模式下支持一系列模型部署选项,其中包括

  • NVIDIATensorRT:该格式针对NVIDIA GPU 进行了优化,可在 Jetson Orin Nano Super 上提供高性能和低延迟推理。
  • ONNX (开放神经网络交换):它确保了各种平台的兼容性,使其适用于不同的硬件和软件生态系统。
  • TorchScript:这种格式非常适合基于PyTorch 的应用程序,有助于无缝集成到PyTorch 工作流中。
  • TFLite (TensorFlow Lite):专为轻量级人工智能部署而设计的格式,非常适合移动和嵌入式系统。

利用这些部署格式,开发人员可以充分利用 Jetson Orin Nano Super 的硬件优势,为智能空间、机器人和零售自动化等实时应用运行YOLO11 。 

NVIDIA Jetson Orin Nano Super 上的基准测试YOLO11

接下来,为了更好地了解YOLO11 在NVIDIA Jetson Orin Nano Super 上的运行速度,让我们使用GPU-加速导出格式(如PyTorch 、ONNX 和TensorRT )来探索其令人印象深刻的性能和基准。这些测试表明,Jetson Orin Nano Super 使用YOLO11 模型实现的推理时间可与现有的 Jetson Orin NX 16GB(无超级模式)相媲美,有时甚至超过。

图 4. NVIDIA Jetson Orin Nano Super 上的基准测试YOLO11 。

更难能可贵的是 Jetson Orin Nano Super 的经济性。它以不到 Jetson Orin NX 16GB 一半的价格提供如此高的性能,为开发人员构建高性能YOLO11 应用程序提供了非凡的价值。成本与性能的完美结合使 Jetson Orin Nano Super 成为边缘实时视觉人工智能任务的绝佳选择。

图 5.Jetson Orin NX 16GB 上的基准测试YOLO11 。

亲身体验YOLO11 和NVIDIA Jetson Orin Nano Super

如果您对在 Jetson Orin Nano Super部署YOLO11 感到兴奋,那么好消息是,这个过程非常简单。使用NVIDIA JetPack SDK 闪存设备后,您可以使用预置的 Docker 镜像进行快速设置,也可以手动安装必要的软件包。 

对于那些寻求更快、更无缝集成的人来说,更新后的 JetPack 6 Docker 容器是理想的解决方案。Docker 容器是一种轻量级的便携式环境,包含运行特定软件所需的所有工具和依赖项。 

Ultralytics 容器针对 JetPack 6.1 进行了优化,预装了CUDA 12.6、TensorRT 10.3 以及PyTorch 和 TorchVision 等基本工具,所有这些都是为 Jetson 的 ARM64 架构量身定制的。通过使用该容器,开发人员可以节省设置时间,专注于通过YOLO11 构建和优化他们的Vision AI 应用程序

YOLO11 在NVIDIA Jetson Orin Nano Super 上的应用

对于那些正在为下一个人工智能项目寻找灵感的人来说,基于边缘的计算机视觉应用潜力无处不在。 

在日常生活中,边缘人工智能正在重新定义智能空间,使系统能够实时检测和跟踪物体,而无需依赖云处理。无论是监控繁华都市的交通,还是识别公共场所的异常活动,边缘视觉人工智能都在提高安全性和效率。

零售商也在利用边缘人工智能和计算机视觉。从自动库存检查到防盗,YOLO11 等模式使企业能够直接在店内部署实时解决方案。 

同样,就医疗保健领域的人工智能而言,基于边缘的监控可确保患者安全、检测异常情况并保持合规性,而这一切都不会因依赖云计算而造成延误。借助 Jetson Orin Nano Super 和YOLO11 等工具,视觉人工智能的未来将在最需要的边缘展开。

主要收获

在NVIDIA Jetson Orin Nano 超级开发者套件上部署Ultralytics YOLO 模型(如YOLO11 ),可为边缘人工智能应用提供可靠、高效的解决方案。它具有强大的GPU 性能、对PyTorch 、ONNX 和TensorRT 的无缝支持以及令人印象深刻的基准测试,非常适合对象检测和跟踪等实时计算机视觉任务。 

视觉人工智能(Vision AI)和硬件加速等前沿技术的创新与合作正在改变我们的工作方式,使开发人员能够在边缘构建可扩展的高性能解决方案。随着人工智能的发展,像YOLO11 和 Jetson Orin Nano Super 这样的工具使智能实时解决方案比以往任何时候都更容易实现。

对人工智能感到好奇?访问我们的GitHub 存储库,了解我们的贡献并与我们的社区互动。了解我们如何利用人工智能对农业和医疗保健等行业产生影响。

Facebook 徽标Twitter 徽标LinkedIn 徽标复制链接符号

在此类别中阅读更多内容

让我们共同打造人工智能的未来

开始您的未来机器学习之旅