第11卷第1期 智能系统学报 Vol.11 No.1 2016年2月 CAAI Transactions on Intelligent Systems Feb.2016 D0I:10.11992/is.201509018 网络出版地址：htp:/www.cmki.net/kcms/detail/23.1538.TP.20160105.1532.004.html 一种卷积神经网络的图像矩正则化策略 般瑞12，苏松志12，李绍滋12 (1.厦门大学信息科学与技术学院，福建厦门361005：2.厦门大学福建省仿脑智能系统重点实验室，福建厦门361005) 摘要：卷积神经网络的池化策略包含极大池化和平均池化，极大池化选择池化区域中的最大值，极易出现过抑合 现象：平均池化对池化区域中所有元素赋予相同权重，降低了高频分量的权重。本文提出将矩池化作为卷积神经网 络的正则化策略，矩池化将几何矩概念引入到卷积神经网络的池化过程中，首先计算池化区域的中心矩，然后根据 类插值法依概率随机地从中心矩的4个邻域中选择响应值。在数据集MNIST,CFAR10、CIFAR1O0上的实验结果表 明随着训练迭代次数的增加，矩池化的训练误差和测试误差最低，矩池化的高差别性和强鲁棒性使其获得了比极大 池化和平均池化更好的泛化能力。 关键词：中心矩：随机选择：池化：卷积神经网络：过抑合 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2016)01-0043-06 中文引用格式：殷瑞，苏松志，李绍滋.一种卷积神经网络的图像矩正则化策略[J].智能系统学报，2016,11(1)：43-48. 英文引用格式：YIN Rui,SU Songzhi,LI Shaozi..Convolutional neural network's image moment regularizing strategy[J].CAAl Transactions on Intelligent Systems,2016,11(1):43-48. Convolutional neural network's image moment regularizing strategy YIN Rui2,SU Songzhi2,LI Shaozi (1.School of Information Science and Technology,Xiamen University,Xiamen 361005,China;2.Fujian Key Laboratory of the Brain- Like Intelligent System,Xiamen University,Xiamen 361005,China) Abstract:There are two kinds of pooling strategies for convolutional neural network(CNN)as follows:max pooling and average pooling.Max pooling simply chooses the maximum element,which makes this strategy extremely prone to overfitting.Average pooling endows all elements with the same weight,which lowers the weight of the high-fre- quency components.In this study,we propose moment pooling as a regularization strategy for CNN.First,we intro- duce the geometric moment to CNN pooling and calculate the central moment of the pooling region.Then,we ran- domly select the response values based on the probability-like interpolation method from the four neighbors of the moment as per their probability.Experiments on the MNIST,CIFAR10,and CIFAR100 datasets show that moment pooling obtains the fewest training and test errors with training iteration increments.This strategy's robustness and strong discrimination capability yield better generalization results than those from the max and average pooling meth- ods. Keywords:central moment;random selection;pooling;convolutional neural network;overfitting 卷积神经网络模型训练过程中存在一个共同的 数，根据图像变换扩增训练数据等。虽然上述方法 问题，即当模型复杂度比较高时，由于训练数据相对 可以在一定程度上抑制过拟合，训练出比未正则化 不足而产生过抑合现象，导致模型泛化能力比较差。 模型泛化性更强的模型，但是由于以上方法是基于 一系列正则化技术被用来解决该问题，如L,正则 参数的方法，在解决过抑合问题的同时却增加了模 化，L2正则化，即对损失函数增加L,范数或L2范 型训练复杂度，在一定程度上弱化了其效果。 Hinton等2)提出的dropout是另外一种正则化 收稿日期：2015-09-16.网络出版日期：2016-01-05. 方法，它在训练过程中以0.5的概率随机将网络中 基金项目：国家自然科学基金资助项目(61202143,61572409)：福建省 自然科学基金资助项目(2013J05100). 神经元的响应值置为0。该方法在计算机视觉的多 通信作者：李绍滋.E-mail:szig@xmu.cdu.cn. 个问题中都取得了不错的成绩，然而目前仍不能完第 １１ 卷第 １ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．１ ２０１６ 年 ２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｆｅｂ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５０９０１８ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０１０５．１５３２．００４．ｈｔｍｌ 一种卷积神经网络的图像矩正则化策略 殷瑞１，２ ，苏松志１，２ ，李绍滋１，２ （１．厦门大学 信息科学与技术学院，福建 厦门 ３６１００５； ２． 厦门大学 福建省仿脑智能系统重点实验室，福建 厦门 ３６１００５） 摘 要：卷积神经网络的池化策略包含极大池化和平均池化，极大池化选择池化区域中的最大值，极易出现过抑合 现象；平均池化对池化区域中所有元素赋予相同权重，降低了高频分量的权重。 本文提出将矩池化作为卷积神经网 络的正则化策略，矩池化将几何矩概念引入到卷积神经网络的池化过程中，首先计算池化区域的中心矩，然后根据 类插值法依概率随机地从中心矩的 ４ 个邻域中选择响应值。 在数据集 ＭＮＩＳＴ、ＣＩＦＡＲ１０、ＣＩＦＡＲ１００ 上的实验结果表 明随着训练迭代次数的增加，矩池化的训练误差和测试误差最低，矩池化的高差别性和强鲁棒性使其获得了比极大 池化和平均池化更好的泛化能力。 关键词：中心矩；随机选择；池化；卷积神经网络；过抑合 中图分类号：ＴＰ３９１．４ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０１⁃００４３⁃０６ 中文引用格式：殷瑞，苏松志，李绍滋．一种卷积神经网络的图像矩正则化策略［Ｊ］． 智能系统学报， ２０１６， １１（１）： ４３⁃４８． 英文引用格式：ＹＩＮ Ｒｕｉ， ＳＵ Ｓｏｎｇｚｈｉ， ＬＩ Ｓｈａｏｚｉ． Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ’ ｓ ｉｍａｇｅ ｍｏｍｅｎｔ ｒｅｇｕｌａｒｉｚｉｎｇ ｓｔｒａｔｅｇｙ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１６， １１（１）： ４３⁃４８． Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ’ ｓ ｉｍａｇｅ ｍｏｍｅｎｔ ｒｅｇｕｌａｒｉｚｉｎｇ ｓｔｒａｔｅｇｙ ＹＩＮ Ｒｕｉ １，２ ， ＳＵ Ｓｏｎｇｚｈｉ １，２ ， ＬＩ Ｓｈａｏｚｉ １，２ （１． Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｘｉａｍｅｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｘｉａｍｅｎ ３６１００５， Ｃｈｉｎａ； ２． Ｆｕｊｉａｎ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ ｔｈｅ Ｂｒａｉｎ⁃ Ｌｉｋｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍ， Ｘｉａｍｅｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｘｉａｍｅｎ ３６１００５， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅｒｅ ａｒｅ ｔｗｏ ｋｉｎｄｓ ｏｆ ｐｏｏｌｉｎｇ ｓｔｒａｔｅｇｉｅｓ ｆｏｒ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ （ＣＮＮ） ａｓ ｆｏｌｌｏｗｓ： ｍａｘ ｐｏｏｌｉｎｇ ａｎｄ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ． Ｍａｘ ｐｏｏｌｉｎｇ ｓｉｍｐｌｙ ｃｈｏｏｓｅｓ ｔｈｅ ｍａｘｉｍｕｍ ｅｌｅｍｅｎｔ， ｗｈｉｃｈ ｍａｋｅｓ ｔｈｉｓ ｓｔｒａｔｅｇｙ ｅｘｔｒｅｍｅｌｙ ｐｒｏｎｅ ｔｏ ｏｖｅｒｆｉｔｔｉｎｇ． Ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ ｅｎｄｏｗｓ ａｌｌ ｅｌｅｍｅｎｔｓ ｗｉｔｈ ｔｈｅ ｓａｍｅ ｗｅｉｇｈｔ， ｗｈｉｃｈ ｌｏｗｅｒｓ ｔｈｅ ｗｅｉｇｈｔ ｏｆ ｔｈｅ ｈｉｇｈ⁃ｆｒｅ⁃ ｑｕｅｎｃｙ ｃｏｍｐｏｎｅｎｔｓ． Ｉｎ ｔｈｉｓ ｓｔｕｄｙ， ｗｅ ｐｒｏｐｏｓｅ ｍｏｍｅｎｔ ｐｏｏｌｉｎｇ ａｓ ａ ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｓｔｒａｔｅｇｙ ｆｏｒ ＣＮＮ． Ｆｉｒｓｔ， ｗｅ ｉｎｔｒｏ⁃ ｄｕｃｅ ｔｈｅ ｇｅｏｍｅｔｒｉｃ ｍｏｍｅｎｔ ｔｏ ＣＮＮ ｐｏｏｌｉｎｇ ａｎｄ ｃａｌｃｕｌａｔｅ ｔｈｅ ｃｅｎｔｒａｌ ｍｏｍｅｎｔ ｏｆ ｔｈｅ ｐｏｏｌｉｎｇ ｒｅｇｉｏｎ． Ｔｈｅｎ， ｗｅ ｒａｎ⁃ ｄｏｍｌｙ ｓｅｌｅｃｔ ｔｈｅ ｒｅｓｐｏｎｓｅ ｖａｌｕｅｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｐｒｏｂａｂｉｌｉｔｙ⁃ｌｉｋｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｍｅｔｈｏｄ ｆｒｏｍ ｔｈｅ ｆｏｕｒ ｎｅｉｇｈｂｏｒｓ ｏｆ ｔｈｅ ｍｏｍｅｎｔ ａｓ ｐｅｒ ｔｈｅｉｒ ｐｒｏｂａｂｉｌｉｔｙ． Ｅｘｐｅｒｉｍｅｎｔｓ ｏｎ ｔｈｅ ＭＮＩＳＴ， ＣＩＦＡＲ１０， ａｎｄ ＣＩＦＡＲ１００ ｄａｔａｓｅｔｓ ｓｈｏｗ ｔｈａｔ ｍｏｍｅｎｔ ｐｏｏｌｉｎｇ ｏｂｔａｉｎｓ ｔｈｅ ｆｅｗｅｓｔ ｔｒａｉｎｉｎｇ ａｎｄ ｔｅｓｔ ｅｒｒｏｒｓ ｗｉｔｈ ｔｒａｉｎｉｎｇ ｉｔｅｒａｔｉｏｎ ｉｎｃｒｅｍｅｎｔｓ． Ｔｈｉｓ ｓｔｒａｔｅｇｙ’ｓ ｒｏｂｕｓｔｎｅｓｓ ａｎｄ ｓｔｒｏｎｇ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ ｃａｐａｂｉｌｉｔｙ ｙｉｅｌｄ ｂｅｔｔｅｒ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｒｅｓｕｌｔｓ ｔｈａｎ ｔｈｏｓｅ ｆｒｏｍ ｔｈｅ ｍａｘ ａｎｄ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ ｍｅｔｈ⁃ ｏｄｓ． Ｋｅｙｗｏｒｄｓ：ｃｅｎｔｒａｌ ｍｏｍｅｎｔ； ｒａｎｄｏｍ ｓｅｌｅｃｔｉｏｎ； ｐｏｏｌｉｎｇ； ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ； ｏｖｅｒｆｉｔｔｉｎｇ 收稿日期：２０１５⁃０９⁃１６． 网络出版日期：２０１６⁃０１⁃０５． 基金项目：国家自然科学基金资助项目（ ６１２０２１４３， ６１５７２４０９）；福建省 自然科学基金资助项目（２０１３Ｊ０５１００）． 通信作者：李绍滋． Ｅ⁃ｍａｉｌ： ｓｚｌｉｇ＠ ｘｍｕ．ｅｄｕ．ｃｎ． 卷积神经网络模型训练过程中存在一个共同的 问题，即当模型复杂度比较高时，由于训练数据相对 不足而产生过抑合现象，导致模型泛化能力比较差。 一系列正则化技术被用来解决该问题，如 Ｌ１ 正则 化，Ｌ２ 正则化，即对损失函数增加 Ｌ１ 范数或 Ｌ２ 范 数，根据图像变换扩增训练数据等。 虽然上述方法 可以在一定程度上抑制过拟合，训练出比未正则化 模型泛化性更强的模型，但是由于以上方法是基于 参数的方法，在解决过抑合问题的同时却增加了模 型训练复杂度，在一定程度上弱化了其效果。 Ｈｉｎｔｏｎ 等［２］提出的 ｄｒｏｐｏｕｔ 是另外一种正则化 方法，它在训练过程中以 ０．５ 的概率随机将网络中 神经元的响应值置为 ０。 该方法在计算机视觉的多 个问题中都取得了不错的成绩，然而目前仍不能完