1. 简介
基于DeploySharp 开发的深度学习模型部署测试平台,提供了YOLO框架的主流系列模型,包括YOLOv5~v13,以及其系列下的Detection、Segmentation、Oriented Bounding Box、Human Pose Estimation等应用场景。模型部署引擎支持OpenVINO™、ONNX runtime,支持CPU、IGPU以及GPU多种设备推理。项目链接为:
https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications
为方便更多开发者使用,此处提供了.NET 6.0以及.NET Framework 4.8的版本,均通过DeploySharp 实现,其链接为:
https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications/.NET%206.0/DeploySharp.OpenCvSharp-ApplicationPlatform # .NET 6.0版本
https://github.com/guojin-yan/DeploySharp/tree/DeploySharpV1.0/applications/.NET%20Framework%204.8/DeploySharp.ImageSharp-ApplicationPlatform # .NET Framework 4.8版本
下图为基于DeploySharp 开发的深度学习模型部署测试平台页面,可以通过自己需求选择模型类型、部署引擎以及推理设备。

下图为模型推理运行示例:

2. 模型支持情况
基于DeploySharp 开发的深度学习模型部署测试平台所支持的模型列表与DeploySharp 库一致,后续会跟着DeploySharp 迭代进行同步更新,具体支持的模型和推理引擎如下表所示:
| | | | |
---|
YOLOv5 | | | | |
YOLOv5 | | | | |
YOLOv6 | | |
| |
YOLOv7 | | | | |
YOLOv8 | | | | |
YOLOv8 | | | | |
YOLOv8 | | |
| |
YOLOv8 | | | | |
YOLOv9 | | | | |
YOLOv9 | | | | |
YOLOv10 | | | | |
YOLOv11 | | | | |
YOLOv11 | | | | |
YOLOv11 | | | | |
YOLOv11 | |
| | |
YOLOv12 | | | | |
Anomalib | | | | |
3.模型运行时间测试
在开发的模型部署平台上进行时间测试,当前的测试环境为:
- CPU: Intel(R) Core(TM) Ultra 9 288V
- IGPU: Intel(R) Arc(TM) 140V GPU (16GB)
在同一环境下,对其中一些模型进行了测试,如下表所示:
| | | | | ONNX Runtime OpenVINO CPU | ONNX Runtime DirectML IGPU |
---|
YOLOv5s-det | | | | | | |
YOLOv5-seg | | | | | | |
YOLOv8s-det | | | | | | |
YOLOv8s-seg | | | | | | |
YOLOv8s-obb |
| | | | | |
YOLOv11s-det | | | | | | |
YOLOv11s-seg | | | | | | |
YOLOv11s-obb | | |
| | | |
最后如果各位开发者在使用中有任何问题,欢迎大家与我联系。
