55/2020第十七章模型压缩及移动端部署·第十七章模型玉缩及移动端部署。17.1模型压缩理解。17.2为什么需要模型压缩和加速？。17.3模型压缩的必要性及可行性。17.4目前有哪些深度学习模型压缩方法？·17.4.1前端压缩和后端压缩对比·17.4.2网络剪枝·17.4.3典型剪枝方法对比·17.4.4网络蒸馏■17.4.5前端压缩■17.4.6后端压缩■17.4.6低秩分解·17.4.7总体压缩效果评价指标有哪些？·17.4.8几种轻量化网络结构对比·17.4.9网络压缩未来研究方向有哪些？。17.5目前有哪些深度学习模型优化加速方法？■17.5.1模型优化加速方法·17.5.3 TensorRT:如何优化重构模型？。17.6影响神经网络速度的4个因素（再稍微详细一点）。17.7压缩和加速方法如何选择？。17.8改变网络结构设计为什么会实现模型压缩、加速？17.8.1 Group convolution17.8.2.Depthwise separable convolution·17.8.3输入输出的channel相同时，MAC最小·17.8.4减少组卷积的数量■17.8.5减少网络碎片化程度（分支数量）■17.8.7减少元素级操作。17.9常用的轻量级网络有哪些？■17.9.1 SequeezeNet■1.1设计思想·1.2网络架构■1.3实验结果■17.9.2 MobileNet·2.1设计思想·22网络架构17.9.3 MobileNet-v2·3.1设计思想·3.2网络架构■17.9.4 Xception·4.1设计思想·4.2网络架构■17.9.5 ShuffleNet--v1·5.1设计思想le://home/shishuai/Deskto p/第十七章模型压缩、加速及移动端部署.html1/615/5/2020第十七章模型压缩及移动端部署■5.2网络架构■17.9.6 ShuffleNet--v2·6.1设计思想·62网络结构■6.4 ShuffleNet--v2具有高精度的原因。17.10现有移动端开源框架及其特点■17.10.1NCNN■17.10.2 QNNPACK■17.10.3 Prestissimo17.10.4 MDL (mobile-deep-learning)17.10.5 Paddle-Mobile■17.10.6MACE（Mobile Al Compute Engine)■17.10.7 FeatherCNN17.10.8 TensorFlow Lite■17.10.9 PocketFlow·17.10.10其他几款支持移动端深度学习的开源框架■17.10.11MDL、NCNN和TFLite.比较。17.11移动端开源框架部署■17.8.1以NCNN为例■17.8.2以QNNPACK:为例·17.8.4在Android手机上使用MACE实现图像分类■17.8.3在Android手机上使用PaddleMobile?实现图像分类。17.9移动端开源框架部署疑难。参考文献第十七章模型压缩及移动端部署深度神经网络在人工智能的应用中，包括语音识别、计算机视觉、自然语言处理等各方面，在取得巨大成功的同时，这些深度神经网络需要巨大的计算开销和内存开销，严重阻碍了资源受限下的使用。本章总结了模型压缩、加速一般原理和方法，以及在移动端如何部署。17.1模型压缩理解模型压缩是指利用数据集对已经训练好的深度模型进行精简，进而得到一个轻量且准确率相当的网络，压缩后的网络具有更小的结构和更少的参数，可以有效降低计算和存储开销，便于部署再受限的硬件环境中。17.2为什么需要模型压缩和加速？(1)随着A1技术的飞速发展，越来越多的公司希望在自己的移动端产品中注入A能力。(2)对于在线学习和增量学习等实时应用而言，如何减少含有大量层级及结点的大型神经网络所需要的内存和计算量显得极为重要。(3)模型的参数在一定程度上能够表达其复杂性，相关研究表明，并不是所有的参数都在模型中发挥作用，部分参数作用有限、表达冗余甚至会降低模型的性能。le://home/shishuai/Desk灶op/第十七章模型压缩、加速及移动端部署.html2/615/5/2020第十七章模型压缩及移动端部署(4)复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。(5)智能设备的流行提供了内存、CPU、能耗和宽带等资源，使得深度学习模型部署在智能移动设备上变得可行。(6)高效的深度学习方法可以有效的帮助嵌入式设备、分布式系统完成复杂工作，在移动端部署深度学习有很重要的意义。17.3模型压缩的必要性及可行性必首先是资源受限，其次在许多网络结构中，如VGG-16网络，参数数量1亿3千多万，占用要性500MB空间，需要进行309亿次浮点运算中能完成一次图像识别任务。模型的参数在一定程度上能够表达其复杂性，相关研究表明，并不是所有的参数都在模型中可发挥作用，部分参数作用有限、表达冗余甚至会降低模型的性能。论文提出，很多的深度行神经网络仅仅使用很少一部分(5%)权值就足以预测剩余的权值。该论文还提出这些剩性下的权值甚至可以直接不用被学习。也就是说，仅仅训练一小部分原来的权值参数就有可能达到和原来网络相近甚至超过原来网络的性能（可以看作一种正则化）。最终最大程度的减小模型复杂度，减少模型存储需要的空间，也致力于加速模型的训练和推目测的17.4目前有哪些深度学习模型压缩方法？目前深度学习模型压缩方法主要分为更精细化模型设计、模型裁剪、核的稀疏化、量化、低秩分解、迁移学习等方法，而这些方法又可分为前端压缩和后端压缩。17.4.1前端压缩和后端压缩对比前端压缩后端压缩目会大程度上改变原始网络结构的压缩技含义不会改变原始网络结构的压缩技术术主要方知识蒸馏、紧凑的模型结构设计、滤波低秩近似、未加限制的剪枝、参数量法器层面的剪枝化、二值网络实现难较简单较难度是否可可逆不可逆逆成熟应剪枝低秩近似、参数量化用le://home/shishuai/Deskto p/第十七章模型压缩、加速及移动端部署.html3/61