随着大模型逐步增加和落地的同时，模型的推理与加速也变得尤为重要，很多场景下对模型响应的速度均有较高的要求。比如：自动驾驶感知场景、实时监控场景、医疗诊断分析场景、金融行业股票交易场景等。从模型优化与系统优化的角度分析，领域算法建模与模型压缩、推理加速通常紧密相关。深度学习模型压缩与加速技术，在降低存储空间和计算资源的同时，还可以降低部署和维护成本，提高相应响应速度，降低数据泄漏和滥用的风险。
深度学习模型的部署应用根据不同设备（NVIDIA、华为昇腾、FPGA等）会有不同的方案，但目前主流需求仍然是NVIDIA的GPU上部署，并使用NVIDIA推出的推理优化框架TensorRT。之前学院开设过TensorRT的基础课程，广受大家欢迎的同时，也带来了新的需求——“拿到一个深度学习模型，我如何一步一步地提升其推理速度，并做极致优化”。
因此，深蓝学院开设了『深度学习模型推理加速项目实践 (小班课 - 百度文心大模型ERNIE)』课程。该课程以百度文心大模型ERNIE工业化部署实践中的推理加速为例，带着大家一步一步地提升大模型ERNIE的推理速度，并最终实现模型精度损失在要求范围内且推理速度至少提升7倍。
扫码添加，抢占最后26个名额
毕业后一直在腾讯从事语音领域深度学习加速上线工作。近10年CUDA开发经验，近6年TensorRT 开发经验，Github TensorRT_Tutorial作者。
1. 精选百度文心大模型ERNIE部署实践中的推理加速为例； 3. 培养真实推理加速任务中分析与拆解问题的能力；4. 小班教学，专家讲师直播与录播结合授课。
以百度文心大模型ERNIE用于搜索场景为案例，带着同学们一步一步优化推理加速。在此过程中，大家可以收获以下知识与技能：1.面对新的深度学习模型推理加速任务时，应该如何分析与拆解；2.针对不同项目需求，选择哪种推理加速方法或者策略；
3.常用的推理加速技能，比如合并算子、FP16、优化输入输出、输入对齐、手写算子等。
扫码添加，抢占最后26个名额
