Py学习  »  机器学习算法

基于DeploySharp的深度学习模型部署测试平台:支持YOLO全系列模型

OpenCV学堂 • 5 天前 • 20 次点击  
图片

点击蓝字关注我们


1. 简介

基于DeploySharp 开发的深度学习模型部署测试平台,提供了YOLO框架的主流系列模型,包括YOLOv5~v13,以及其系列下的Detection、Segmentation、Oriented Bounding Box、Human Pose Estimation等应用场景。模型部署引擎支持OpenVINO™、ONNX runtime,支持CPU、IGPU以及GPU多种设备推理。项目链接为:

https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications

为方便更多开发者使用,此处提供了.NET 6.0以及.NET Framework 4.8的版本,均通过DeploySharp 实现,其链接为:

https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications/.NET%206.0/DeploySharp.OpenCvSharp-ApplicationPlatform  # .NET 6.0版本
https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications/.NET%20Framework%204.8/DeploySharp.ImageSharp-ApplicationPlatform  # .NET Framework 4.8版本

下图为基于DeploySharp 开发的深度学习模型部署测试平台页面,可以通过自己需求选择模型类型、部署引擎以及推理设备。

image-20251002182043813

下图为模型推理运行示例:

image-20251002214519283

2. 模型支持情况

基于DeploySharp 开发的深度学习模型部署测试平台所支持的模型列表与DeploySharp 库一致,后续会跟着DeploySharp 迭代进行同步更新,具体支持的模型和推理引擎如下表所示:

Model Name
Model Type
OpenVINO
ONNX Runtime
TensorRT
YOLOv5
Detection
ing...
YOLOv5
Segmentation
ing...
YOLOv6
Detection
ing...
YOLOv7
Detection
ing...
YOLOv8
Detection
ing...
YOLOv8
Segmentation
ing...
YOLOv8
Pose
ing...
YOLOv8
Oriented Bounding Boxes
ing...
YOLOv9
Detection
ing...
YOLOv9
Segmentation
ing...
YOLOv10
Detection
ing...
YOLOv11
Detection
ing...
YOLOv11
Segmentation
ing...
YOLOv11
Pose
ing...
YOLOv11
Oriented Bounding Boxes
ing...
YOLOv12
Detection
ing...
Anomalib
Segmentation
ing...

3.模型运行时间测试

在开发的模型部署平台上进行时间测试,当前的测试环境为:

  • CPU: Intel(R) Core(TM) Ultra 9 288V
  • IGPU: Intel(R) Arc(TM) 140V GPU (16GB)
  • NPU: Intel(R) AI Boost

在同一环境下,对其中一些模型进行了测试,如下表所示:

Model Name
OpenVINO CPU
OpenVINO IGPU
OpenVINO NPU
ONNX Runtime CPU
ONNX Runtime OpenVINO CPU
ONNX Runtime  DirectML IGPU
YOLOv5s-det
16.84 FPS
60.23 FPS
48.36 FPS
21.06 FPS
16.80 FPS
40.11 FPS
YOLOv5-seg
8.91 FPS
21.24 FPS
20.11 FPS
10.86 FPS
8.56 FPS
16.54 FPS
YOLOv8s-det
12.02 FPS
67.74 FPS
51.84 FPS
14.84 FPS
11.52 FPS
36.38 FPS
YOLOv8s-seg
6.30 FPS
15.96 FPS
14.09 FPS
7.17 FPS
6.24 FPS
12.71 FPS
YOLOv8s-obb
4.61 FPS
35.13 FPS
20.02 FPS
5.62 FPS
4.56 FPS
15.80 FPS
YOLOv11s-det
13.48 FPS
62.40 FPS
53.51 FPS
15.71 FPS
13.41 FPS
38.83 FPS
YOLOv11s-seg
6.64 FPS
16.18 FPS
14.46 FPS
7.55 FPS
6.59 FPS
12.74 FPS
YOLOv11s-obb
5.58 FPS
33.14 FPS
19.99 FPS
6.35 FPS
5.56 FPS
17.87 FPS

    最后如果各位开发者在使用中有任何问题,欢迎大家与我联系。

image-20250224211044113
10.25 来苏州参加我们的线下活动,跟作者面对面交流

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/187847