·1236· 工程科学学报.第41卷，第10期 MobileNetv2类似的情况下速度明显提升.旷视科技 不宜使用：网络分解很难实现模型大小的明显降低， Zhang等[o-1]提出了ShuffleNet系列轻量化模型. 收效甚微：网络蒸馏实现起来比较困难，需要额外设 ShuffleNetv1采用了组卷积(group convolution)来降 计教师网络，且针对不同任务蒸馏难度也不一致，比 低模型参数量，利用通道重排(channel shuffle)来实 如针对一个无人超市行人监测的任务，使用蒸馏的 现不同组之间的信息交互.ShuffleNetv2探讨了网 方法就很难取得巨大提升而对超市里的物品进行分 络设计时所需要考虑的问题以及设计理念，并针对 类，蒸馏的成功率就会明显提升.目前工业界更偏 ShuffleNetv1中设计的不足进行了改进.此外，Xcep- 向于使用量化的方式进行模型压缩，因为目前使用 tion[]、ResNeXt[8]、ChannelNett]以及Incep- 半精度浮点数以及8位整型数对网络进行训练的技 tionv4s5]等等也都是在卷积设计上做了相关工作. 术已经成熟并可以达到商用的标准.但对于未来的 网络结构搜索：传统的网络模型均为人工设计， 工业界应用，使用神经网络结构搜索的方法对网络 网络的结构以及参数均是人为设定，这些都导致了 进行搜索是必然的趋势，脱离手工设计是迈向真正 设计出的模型并非最优，因此神经网络结构搜索 智能的重要一步 (neural architecture search,NAS)应运而生.Tan (3)尽管这些压缩方法取得了巨大成就，但黑 等6]提出了用于寻找在移动端最优的神经网络架 盒机制仍然是采用这些方法的关键障碍.探索知识 构搜索方法MnasNet,例如MobileNetv.3以及谷歌大 的解释能力仍然是一个重要的问题. 脑Tan与Lels]提出的EfficientNet..Liu等[]提出 7.2未来研究方向 了Auto-DeepLab,在图像语义分割问题上超越了很 (1)神经网络结构搜索：对于未来的工业界应 多业内最佳模型，甚至可以在未经过预训练的情况 用，使用神经网络结构搜索的方法对网络进行搜索 下达到预训练模型的表现 是必然的趋势，脱离手工设计是迈向真正智能的重 此外，Huang等[s9)提出根据不同难度的输入进 要一步 行动态推断，实现了网络的多级输出，提高了推断的 (2)自动模型压缩：基于自动机器学习的自动 效率.Shelhamer等[o]提出了ClockNet对特征进行 模型压缩，利用强化学习提供模型压缩策略，在模型 复用，实现了更高效的推断 大小、速度和准确率之间做出权衡. 评价：紧凑网络设计致力于设计出更加精简有 (3)任务驱动的压缩：目前存在的网络都是基 效的网络，目前已经有很多工作在尝试.对于未来 于存在的公开数据集进行训练与测试，但是针对具 的工业界应用，此方法是很重要的选择.尤其是神 体任务以及场景，可能仅需要其中的几个子类别 经网络结构搜索，一旦此方法发展成熟，那么将彻底 因此，如何从一个大网络压缩得到适用于具体任务 摆脱手工设计网络模型的问题，这将极大的推动工 的模型具有丰富的市场需求 业应用的发展.但目前来看神经网络结构搜索还有 (4)网络可解释性的探索：可解释性一直都是 待发展，并且使用神经网络结构搜索需要很大的硬 卷积神经网络的重要问题，一旦此问题得到突破，那 件与时间消耗，如何使用更少的资源、花费更少的时 么对于基于卷积神经网络的方法都将带来巨大的提 间来搜索出想要的网络是今后的重要目标. 升，都将有法可寻.因此，研究网络的可解释性将会 7存在的问题及未来研究方向 是卷积神经网络领域的核心问题 模型压缩是为了在保证模型精度情况下尽量的 上文总结了当前用于模型压缩的几种主流方 减少模型参数并尽量降低模型的计算量.本文从网 法，接下来主要讨论模型压缩存在的问题和未来研 络剪枝、参数共享，量化、网络分解、网络蒸馏以及紧 究方向. 凑网络设计六个方向对当前模型压缩方法进行总 7.1存在的问题 结，并对当前模型压缩存在的问题和未来的发展方 (1)目前大多数最先进的方法都是建立在精心 向进行阐述.当前模型压缩技术尚未完全成熟，仍 设计的卷积神经网络模型之上，这些模型对网络结 有很多方面等待挖掘与研究，希望本文可以使读者 构以及超参数配置有限.为了处理更复杂任务，应 对模型压缩有比较全面的认识，并能针对具体任务 该提供更合理的方法来配置压缩模型， 加以利用 (2)对于工业界的应用，网络剪枝需要大量的 人力以及物力的消耗，并且很难获得想要的提升：参 参考文献 数共享技术难度很高，容易使网络的精度下降过大， [1]LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015.工程科学学报,第 41 卷,第 10 期 MobileNetv2 类似的情况下速度明显提升. 旷视科技 Zhang 等[80鄄鄄81] 提出了 ShuffleNet 系列轻量化模型. ShuffleNetv1 采用了组卷积( group convolution) 来降 低模型参数量,利用通道重排(channel shuffle)来实 现不同组之间的信息交互. ShuffleNetv2 探讨了网 络设计时所需要考虑的问题以及设计理念,并针对 ShuffleNetv1 中设计的不足进行了改进. 此外,Xcep鄄 tion [82] 、 ResNeXt [83] 、 ChannelNet [84] 以 及 Incep鄄 tionv4 [85]等等也都是在卷积设计上做了相关工作. 网络结构搜索:传统的网络模型均为人工设计, 网络的结构以及参数均是人为设定,这些都导致了 设计出的模型并非最优,因此神经网络结构搜索 ( neural architecture search, NAS ) 应 运 而 生. Tan 等[86]提出了用于寻找在移动端最优的神经网络架 构搜索方法 MnasNet,例如 MobileNetv3 以及谷歌大 脑 Tan 与 Le [87] 提出的 EfficientNet. Liu 等[88] 提出 了 Auto鄄DeepLab,在图像语义分割问题上超越了很 多业内最佳模型,甚至可以在未经过预训练的情况 下达到预训练模型的表现. 此外,Huang 等[89]提出根据不同难度的输入进 行动态推断,实现了网络的多级输出,提高了推断的 效率. Shelhamer 等[90] 提出了 ClockNet 对特征进行 复用,实现了更高效的推断. 评价:紧凑网络设计致力于设计出更加精简有 效的网络,目前已经有很多工作在尝试. 对于未来 的工业界应用,此方法是很重要的选择. 尤其是神 经网络结构搜索,一旦此方法发展成熟,那么将彻底 摆脱手工设计网络模型的问题,这将极大的推动工 业应用的发展. 但目前来看神经网络结构搜索还有 待发展,并且使用神经网络结构搜索需要很大的硬 件与时间消耗,如何使用更少的资源、花费更少的时 间来搜索出想要的网络是今后的重要目标. 7 存在的问题及未来研究方向 上文总结了当前用于模型压缩的几种主流方 法,接下来主要讨论模型压缩存在的问题和未来研 究方向. 7郾 1 存在的问题 (1)目前大多数最先进的方法都是建立在精心 设计的卷积神经网络模型之上,这些模型对网络结 构以及超参数配置有限. 为了处理更复杂任务,应 该提供更合理的方法来配置压缩模型. (2)对于工业界的应用,网络剪枝需要大量的 人力以及物力的消耗,并且很难获得想要的提升;参 数共享技术难度很高,容易使网络的精度下降过大, 不宜使用;网络分解很难实现模型大小的明显降低, 收效甚微;网络蒸馏实现起来比较困难,需要额外设 计教师网络,且针对不同任务蒸馏难度也不一致,比 如针对一个无人超市行人监测的任务,使用蒸馏的 方法就很难取得巨大提升而对超市里的物品进行分 类,蒸馏的成功率就会明显提升. 目前工业界更偏 向于使用量化的方式进行模型压缩,因为目前使用 半精度浮点数以及 8 位整型数对网络进行训练的技 术已经成熟并可以达到商用的标准. 但对于未来的 工业界应用,使用神经网络结构搜索的方法对网络 进行搜索是必然的趋势,脱离手工设计是迈向真正 智能的重要一步. (3)尽管这些压缩方法取得了巨大成就,但黑 盒机制仍然是采用这些方法的关键障碍. 探索知识 的解释能力仍然是一个重要的问题. 7郾 2 未来研究方向 (1)神经网络结构搜索:对于未来的工业界应 用,使用神经网络结构搜索的方法对网络进行搜索 是必然的趋势,脱离手工设计是迈向真正智能的重 要一步. (2)自动模型压缩:基于自动机器学习的自动 模型压缩,利用强化学习提供模型压缩策略,在模型 大小、速度和准确率之间做出权衡. (3)任务驱动的压缩:目前存在的网络都是基 于存在的公开数据集进行训练与测试,但是针对具 体任务以及场景,可能仅需要其中的几个子类别. 因此,如何从一个大网络压缩得到适用于具体任务 的模型具有丰富的市场需求. (4)网络可解释性的探索:可解释性一直都是 卷积神经网络的重要问题,一旦此问题得到突破,那 么对于基于卷积神经网络的方法都将带来巨大的提 升,都将有法可寻. 因此,研究网络的可解释性将会 是卷积神经网络领域的核心问题. 模型压缩是为了在保证模型精度情况下尽量的 减少模型参数并尽量降低模型的计算量. 本文从网 络剪枝、参数共享,量化、网络分解、网络蒸馏以及紧 凑网络设计六个方向对当前模型压缩方法进行总 结,并对当前模型压缩存在的问题和未来的发展方 向进行阐述. 当前模型压缩技术尚未完全成熟,仍 有很多方面等待挖掘与研究,希望本文可以使读者 对模型压缩有比较全面的认识,并能针对具体任务 加以利用. 参 考 文 献 [1] LeCun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, ·1236·