FastDeploy是一款全场景、极致高效、易用灵活的AI推理部署工具,支持云边端部署。统一飞桨及生态的多端部署API,目前支持Paddle Inference、Paddle Lite、TensorRT、ONNX Runtime、Poros等推理引擎,一行命令可灵活切换多个推理引擎后端;同时支持Triton Inference Server,一款工具可实现快速的云边端部署。
通过集成CV-CUDA、FastTokenier、FlyCV等AI加速库,以及PaddleSlim自动压缩工具,实现AI模型端到端的性能优化。FastDeploy精心完成了部署API设计,确保不同语言的开发者能够享受到统一的API体验,不同语言只需要3行核心代码,就可以实现预置模型的高性能推理;预置的160+SOTA产业模型的端到端示例 ,快速完成AI的产业落地。