绿色检查
链接复制到剪贴板

使用 Deci 编译和量化Ultralytics YOLOv5 以提高性能

利用德奇平台优化和部署Ultralytics YOLOv5 模型,最高可将性能提高 10 倍。免费开始并利用自动模型优化。

在Ultralytics ,我们与其他初创公司建立了商业合作伙伴关系,以帮助我们为我们出色的开源工具(如YOLOv5 )的研究和开发提供资金,从而使这些工具对所有人都是免费的。本文可能包含这些合作伙伴的关联链接。

Deci 平台包含免费工具,可在任何生产环境中轻松管理、优化和部署您的 YOLOv5模型。Deci 支持所有流行的 DL 框架,如TensorFlow 、PyTorch 、Keras 和ONNX 。您只需要我们基于 Web 的平台或我们的Python 客户端即可从您的代码中运行它。

为什么是德西?

使用 Deci 不仅可以导出模型,还可以对模型进行剪枝和量化!

Deci 提供了一个很好的界面,可以导出任何格式的数据,并对原始模型和转换后的模型进行性能比较。用户可选择通过量化进一步优化模型。

有了德西,您就能

将推理性能最多提高 10 倍

自动编译和量化模型,并评估不同的制作设置,以获得更好的延迟、贯穿性,并减少模型大小和硬件内存占用。

为您的应用寻找最佳推理硬件

只需一个按钮,即可在各种硬件(包括边缘)设备上对您的模型性能进行基准测试。无需手动设置和测试多个硬件和生产设置。

‍只需几行代码即可部署

‍LeverageDeci'spython 基于推理引擎。兼容多种框架和硬件类型。

有关德西平台的更多信息,请访问德西网站

首次设置

步骤 1

开设免费账户

开始学习德西和Ultralytics YOLOv5

步骤 2

要开始优化预训练的YOLOv5 模型,您需要将其转换为ONNX 格式。有关如何将模型转换为ONNX 格式的说明,请参见YOLOv5 Export Tutorial

步骤 3

进入 "实验室 "选项卡,点击屏幕右上方的 "新建模型 "按钮,上传您的模型。 YOLOv5ONNX 模型。

将Ultralytics YOLOv5  模型转换为ONNX ,以便将来与 Deci 一起部署

按照模型上传向导的步骤选择目标硬件以及所需的批量大小和模型编译的量化级别。

Ultralytics YOLOv5 使用 Deci 进行部署的模型编译

填写相关信息后,点击 "开始"。德西平台将自动针对所选硬件对YOLOv5 模型进行运行优化,并在各种硬件类型上对模型进行基准测试。这个过程大约需要 10 分钟。

完成后,屏幕上会在您之前上传的基线模型下方出现一行新内容。在这里,您可以看到预训练的YOLOv5 模型的优化版本。

Ultralytics YOLOv5 与德西一起部署的优化模型

下一步是什么?

然后,您可以点击 "部署 "按钮下载优化后的模型。

Ultralytics YOLOv5 可与德西一起部署的模型

然后,系统会提示您下载您的模型,并向您提供如何安装和使用 Infery 的说明--Infery 是 Deci 的运行时推理引擎。

Infery 的使用是可选的。您可以获取python 原始文件,并将其用于您选择的任何其他推理引擎。

使用 Deci Infery 进行部署Ultralytics YOLOv5

在 "洞察 "选项卡上查看优化和基准结果。

Ultralytics YOLOv5  模型的 Deci 优化

准备好开始了吗?

在结束之前,让我们来讨论一下德西提供的一些优势:

  • 优化模型的推理吞吐量和延迟,同时不影响准确性
  • 允许您优化所有流行框架的模型
  • 支持针对任何深度学习任务的模型
  • 支持在常用的CPU 和GPU 机器上进行部署
  • 在不同的硬件主机和云服务提供商上对您的模型的适用性进行基准测试
  • 让上传的模型为服务、推理和部署做好准备

正如您刚才看到的,您可以在 15 分钟内将YOLOv5 型号的性能提高一倍。德西平台使用起来超级简单直观。

有问题吗?现在就加入我们的社区,留下您的问题!

Facebook 徽标Twitter 徽标LinkedIn 徽标复制链接符号

在此类别中阅读更多内容

让我们共同打造人工智能的未来

开始您的未来机器学习之旅