深度学习模型量化与加速课程
培训对象：
AI算法工程师；模型部署工程师；MLOps工程师；以及负责大模型/深度学习模型在生产环境加速推理的技术人员。
培训目标：
使学员全面掌握深度学习模型量化与加速的核心技术与工程实践方法。精通模型量化（PTQ/QAT）、剪枝、蒸馏、低秩分解等压缩技术。掌握TensorRT、ONNX Runtime、TVM等推理加速引擎的使用与优化技巧。熟悉GPU/CPU/边缘设备上的推理性能调优方法。具备独立完成从训练模型到生产级高吞吐量推理服务的全流程部署优化能力。
培训内容介绍：
-
模型优化与加速概述：讲解深度学习模型在生产部署中面临的挑战（延迟、吞吐量、显存、功耗）。建立模型优化与加速的技术全景图（压缩、编译、硬件加速）。分析不同部署场景（云端、边缘端、移动端）的优化策略差异。
-
模型量化基础：深入讲解量化原理（映射函数、对称/非对称量化、定点计算）。对比INT8、FP16、BFLOAT16等不同精度格式的数值范围与适用场景。理解量化带来的精度损失与加速收益的权衡。
-
训练后量化（PTQ）实战：学习训练后量化的流程与技巧，掌握校准数据集的选择与使用。使用PyTorch/TensorFlow的量化工具进行模型PTQ转换。演练图像分类/检测模型的INT8量化实战。
-
量化感知训练（QAT）：讲解量化感知训练的原理（在训练中模拟量化误差），学习如何在训练中提升量化后模型的精度。掌握QAT的完整流程与超参数调优技巧。
-
模型剪枝技术：学习结构化剪枝（通道剪枝、层剪枝）与非结构化剪枝（权重剪枝）的原理与实现。掌握基于重要性的剪枝策略（L1-norm、Taylor expansion）。演练对CNN模型的通道剪枝与微调恢复。
-
知识蒸馏：讲解知识蒸馏的核心思想（教师模型指导学生模型），学习软标签蒸馏、特征蒸馏、关系蒸馏等方法。实战将大模型（教师）蒸馏为小模型（学生）的完整流程。
-
低秩分解：学习矩阵分解（SVD、CP分解）在模型压缩中的应用，理解如何将大权重矩阵分解为小矩阵的乘积。掌握全连接层/卷积层的低秩分解方法与微调恢复。
-
ONNX与模型格式转换：深入学习ONNX（开放神经网络交换格式）的规范与算子集。掌握将PyTorch/TensorFlow模型转换为ONNX格式的方法，解决转换过程中的算子兼容性问题。使用ONNX Runtime进行推理加速。
-
TensorRT高性能推理：深入讲解TensorRT的核心技术（层融合、精度校准、动态形状、内核自动调优）。掌握模型转换为TensorRT引擎的方法，配置优化参数实现极致推理加速。实战基于TensorRT的目标检测模型加速。
-
TVM与深度学习编译器：介绍TVM、Apache MXNet等深度学习编译器的原理与架构。学习端到端模型编译优化流程，理解硬件后端代码生成机制。
-
推理服务性能分析与调优：建立推理性能的监控指标体系（延迟P50/P95/P99、吞吐量QPS、GPU利用率）。掌握使用Nsight Systems、Nsight Compute等工具进行性能瓶颈分析。学习批处理、并发请求、内存池等优化技巧。
-
端到端模型优化部署实战：从一个训练好的深度学习模型开始，经历PTQ量化、剪枝压缩、ONNX转换、TensorRT优化、性能分析的全流程优化部署实战。输出优化后的模型与部署方案，对比优化前后的性能提升数据。
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击
服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。
专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值
