利用 Neural Magic 的 DeepSparse 部署 Ultralytics YOLOv5，在 CPU 上实现 GPU 级性能

Python API

管道将预处理和输出后处理封装在运行时周围，为将 DeepSparse 添加到应用程序提供了一个简洁的界面。DeepSparse-Ultralytics 集成包括一个开箱即用的管道，可接受原始图像并输出边界框。

创建管道并运行推理：

从 deepsparse 导入管道

# 本地文件系统中的图像列表
images = ["basilica.jpg"]

# 创建管道
model_stub = "zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none"
yolo_pipeline = Pipeline.create(
task="yolo",
model_path=model_stub,
)

# 在图像上运行推理，接收边界框 + 类别
pipeline_outputs = yolo_pipeline(images=images, iou_thres=0.6, conf_thres=0.001)
print(pipeline_outputs)

如果在云中运行，可能会出现 open-cv 无法找到 libGL.so.1 的错误。在 Ubuntu 上运行以下命令即可安装：

apt-get install libgl1-mesa-glx

HTTP 服务器

DeepSparse 服务器运行于流行的 FastAPI 网络框架和 Uvicorn 网络服务器之上。只需一条 CLI 命令，您就可以轻松地用 DeepSparse 建立模型服务端点。服务器支持 DeepSparse 的任何管道，包括使用 YOLOv5 进行对象检测，使您能够向端点发送原始图像并接收边界框。

用经过修剪和量化的 YOLOv5 启动服务器：

deepsparse.server\
--task yolo \
--model_path zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none

使用 Python 的请求包提出请求的示例：

导入请求、json

# 用于推理的图像列表（客户端的本地文件）
path = ['basilica.jpg']
files = [('request', open(img, 'rb')) for img in path]

# 通过 HTTP 向 /predict/from_files 端点发送请求
url = 'http://0.0.0.0:5543/predict/from_files'
resp = requests.post(url=url, files=files)

# 响应以 JSON 格式返回
annotations = json.loads(resp.text) # 注释结果字典
bounding_boxes = annotations["boxes"]
labels = annotations["labels"]

注释 CLI

您还可以使用注释命令让引擎将注释过的照片保存在磁盘上。尝试使用 --source 0 对实时网络摄像头源进行注释！

deepsparse.object_detection.annotate --model_filepath zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none --source basilica.jpg

运行上述命令将创建一个注释-结果文件夹，并将注释图像保存在其中。

ONNX 运行时基线

在批次 32 时，ONNX Runtime 使用标准密集 YOLOv5 实现了每秒 42 幅图像的速度：

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 32 -nstreams 1 -e onnxruntime

> 原始模型路径：zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
> 批量大小：32
> 情景：同步
> 吞吐量（项/秒）：41.9025

深度稀疏密集性能

虽然 DeepSparse 在使用优化的稀疏模型时性能最佳，但在使用标准的密集 YOLOv5 时同样表现出色。

在批次 32 时，DeepSparse 利用标准密集 YOLOv5s 实现了每秒 70 幅图像的速度，性能比 ORT 提高了 1.7 倍！

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 32 -nstreams 1

> 原始模型路径：zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
> 批量大小：32
> 情景：同步
> 吞吐量（项/秒）：69.5546

DeepSparse 稀疏性能

在模型中应用稀疏性后，DeepSparse 的性能比 ONNX Runtime 提升得更多。

在批次 32 时，DeepSparse 使用经过剪枝量化的 YOLOv5s 实现了 241 幅图像/秒的速度，性能是 ORT 的 5.8 倍！

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none -s sync -b 32 -nstreams 1

> 原始模型路径：zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none
> 批量大小：32
> 情景：同步
> 吞吐量（项/秒）：241.2452

ONNX 运行时基线

在批次 1 中，ONNX Runtime 使用标准的高密度 YOLOv5 实现了每秒 48 幅图像的速度。

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none -s sync -b 1 -nstreams 1 -e onnxruntime

> 原始模型路径：zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/base-none
> 批量大小：1
> 情景：同步
> 吞吐量（件/秒）：48.0921

DeepSparse 稀疏性能

在模型中应用稀疏性后，DeepSparse 的性能比 ONNX Runtime 提升得更多。

在批次 1 中，DeepSparse 使用经过剪枝量化的 YOLOv5 实现了 135 幅图像/秒的速度，性能是 ONNX Runtime 的 2.8 倍！

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none -s sync -b 32 -nstreams 1

> 原始模型路径：zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none
> 批量大小：1
> 场景：同步
> 吞吐量（项/秒）：134.9468

由于 c6i.8xlarge 实例具有 VNNI 指令，如果权重以 4 块为单位剪枝，DeepSparse 的吞吐量将进一步提高。

在批次 1 中，DeepSparse 使用 4 块剪枝量化 YOLOv5 实现了 180 条/秒的速度，性能是 ONNX Runtime 的 3.7 倍！

deepsparse.benchmark zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned35_quant-none-vnni -s sync -b 1 -nstreams 1

> 原始模型路径：zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned35_quant-none-vnni
> 批量大小：1
> 场景：同步
> 吞吐量（项/秒）：179.7375

好了！您就可以使用 DeepSparse 优化 YOLOv5 部署了。