在线网盘点击查看详情购买后内容一样

你能学到什么？

本专栏讲解深度学习模型优化相关的内容，包括模型剪枝、模型量化、知识蒸馏、神经网络搜索NAS等核心理论以及对应的Pytorch案例实践

欢迎大家关注有三AI的视频课程系列，我们的视频课程系列共分为5层境界，内容和学习路线图如下：第1层：掌握学习算法必要的预备知识，包括Python编程，深度学习基础，数据使用，框架使用。

第2层：掌握CV算法最底层的能力，包括模型设计基础，图像分类，模型分析。

第3层：掌握CV算法最核心的方向，包括图像分割，目标检测，图像生成，目标跟踪。

第4层：掌握CV算法最核心的应用，包括人脸图像，图像质量，视频分析，图像编辑。

第5层：掌握算法落地的关键技术，包括模型优化，模型部署。

其中部分课程的主体内容已经更新完毕，比如数据使用/模型分析/图像分类/图像分割/目标检测/图像生成/视频分类/模型部署/模型优化；部分课程正在重制更新中，比如人脸图像；部分课程正在计划上线中，比如图像编辑，请大家及时关注！

本次给大家介绍的课程内容是《深度学习之模型优化：理论实践篇》，目标是帮助大家掌握深度学习模型优化的核心内容。

为什么要学习这门课

好的模型结构是深度学习成功的关键因素之一，不仅是非常重要的学术研究方向，在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有余的关键，模型压缩与优化是专门针对模型进行精简的技术，这是模型能够在各类嵌入式平台使用的关键技术，包括紧凑模型设计，模型剪枝，模型量化，模型蒸馏，自动化模型设计等内容。

当前许多成熟的框架都支持进行模型的压缩优化，比如Tensorflow、TensorRT，内置了经典的模型压缩优化方法。

为了帮助大家系统性地学习深度学习模型优化的相关内容，我们推出了《深度学习之模型优化》系列课程，目前已完成约7个小时的理论课+4个小时的实践课（还在更新中）。

子欲学深度学习，模型优化是必学进阶内容！我们这一门课期望帮大家彻底搞定模型优化的学习问题！下面请听课程的详细介绍！

课程内容介绍

本课程内容包括深度学习模型优化压缩的经典算法理论与实践，目前已经基本更新完毕，超过10个小时，涵盖了深度学习模型压缩的核心领域，包括模型剪枝、模型量化、知识蒸馏、神经网络搜索等，既有足够的宽度，也具备有足够的深度。我们会非常详细地讲解算法中的细节，帮助彻底消化算法原理；下图是已有课程的大纲脑图：

下面简单了解一下各部分的内容：

(1) 模型剪枝基础，包括模型剪枝的基本概念，模型的冗余性分析，约25分钟【本部分内容可以免费收听】。

(2) 非结构化模型剪枝（基础篇），包括基于幅度的连接权重剪枝框架及其改进，约25分钟【本部分内容可以免费收听】。

(3) 结构化模型剪枝，包括幅度篇、稀疏权重篇、稀疏因子篇、重建篇，详细介绍了当前各种主流的结构化模型剪枝技术，一共约110分钟。

(4) 模型量化基础，介绍模型量化方法的分类，模型量化的优势，约20分钟，本部分内容可以免费收听。

(5) 2值模型量化，包括基础篇、重建篇，详细介绍了当前主流的2值网络，约50分钟。

(6) 8bit模型量化，介绍的内容包括基于KL散度的对称量化、非对称的训练时与训练后量化框架，时长约45分钟。

(7) 混合模型量化，介绍了基于不同位宽的激活值、权重值、梯度值的量化训练框架，约30分钟。

(8) 知识蒸馏基础，包括知识蒸馏的概念与迁移学习基础，约25分钟【本部分内容可以免费收听】。

(9) 知识蒸馏框架，包括基于特征匹配与基于优化目标驱动的框架，时长约50分钟。

(10) Distiller模型压缩框架，介绍整体架构，模型剪枝与模型量化的功能模块，约40分钟【本部分内容可以免费收听】。

(11) 神经网络搜索，包括神经网络搜索基础，基于栅格搜索的方法，基于强化学习的方法，基于进化算法的方法，时长约110分钟。

(12) 结构化模型剪枝实践，包括基准模型训练以及基于稀疏约束与缩放因子的结构化剪枝实践，约60分钟。

(13) 8bit模型量化实践，包括校准表生成与模型量化，ncnn模型推理，约50分钟。

(14) 模型蒸馏实践，包模型训练与蒸馏，一共约30分钟。

以上就是已有的课程内容，共计超过10个小时，后续还会持续丰富完善内容，请大家保持关注。

本课程讲师为言有三，讲师简介如下：

龙鹏，笔名言有三，技术社区《有三AI》创始人。先后就读于华中科技大学(2008-2012)，中国科学院半导体研究所神经网络实验室(2012-2015)，先后就职于奇虎360人工智能研究院(2015.7-2017.5)，陌陌科技深度学习实验室(2017.5-2019.3)，深度学习算法专家，阿里云MVP，华为云MVP。

拥有超过7年的计算机视觉从业经验，拥有丰富的传统图像算法和深度学习计算机视觉项目经验，著有书籍《深度学习之图像识别：核心技术与案例实战》(机械工业出版社2019.4)，《深度学习之模型设计：核心算法与案例实践》(电子工业出版社2020.6)，《深度学习之人脸图像处理：核心算法与案例实战》(机械工业出版社2020.7)，《深度学习之摄影图像处理：核心算法与案例精粹》(人民邮电出版社2021.4)，《生成对抗网络GAN：原理与实践》(机械工业出版社2022.10)，拥有10余项发明技术专利与学术论文。

擅长领域：Caffe，Tensorflow，Pytorch等主流深度学习平台。神经网络与深度学习理论，深度学习模型设计与优化，计算机视觉的基础领域，AI美学，2D与3D人脸算法，生成对抗网络GAN等领域。

本课程是模型优化课程的其中一部分，属于有三AI整个课程体系中的高阶课程，需要大家已经能够熟练使用深度学习框架与基础模型，建议与另外3门课程配合享用，包括《深度学习之模型分析》，《深度学习之模型设计》，《深度学习之模型部署》，详细介绍请查看：

有三AI季划是我们推出的终身计算机视觉培养计划，有三作为主要导师直接带领，囊括答疑，微信群交流，线下活动，多本自写的书籍，图文课件与代码，直播与直播，知识星球社区，内容组与研发组权限。