【机器学习】一种多模块协同参与的神经网络

第6卷第3期 智能系统学报 Vol.6 N.3 2011年6月 CAAI Transactions on Intelligent Systems Jun.2011 dh:10.3969/j.issn.1673-4785.2011.03.006 一种多模块协同参与的神经网络 薄迎春，乔俊飞，杨刚 (北京工业大学电子信息与控制工程学院.北京100124) 摘要：针对单一神经网络训练时间长、对复杂问题处理精度较低、易陷入局部极小等问题，提出了一种多模块协同 参与信息处理的神经网络.该神经网路具有层级结构，基于条件模糊聚类技术对样本进行分类根据分类结果实现 对神经网络的模块划分，采用代数算法对网络权值进行求解，基于距离测度设计了处理输入信息的子网路选择方 法.为提高神经网络对复杂问题的逼近能力，选择数目不等的多个子网络参与给定输入的协同处理，采取”分而治 之”与“集成学习”相结合方法以提高网络的性能.实验表明，对于复杂问题，这种多模块协同参与的神经网络可以有 效地提高网络的逼近精度，训练时间也优于单一网络。 关键词：神经网络：条件模糊聚类：多模块：子网络选择 中图盼类号：TP183文献标识码：1A文章编号：·1673-4785(2011)03-0225-06 A multi-module cooperative neural network BO Yingchun,QIAO Junfei,YANG Gang (College of Electronic Information and Control Engineering Beiing University of Technology,Beijing 100124,China) Abstract:Aiming to solve the problems of long training time,low precision in procesing complex problem,and a local minimum in single neural networks,a multi-module cooperative neural network(MMCNN))was proposed.Its structure has hierarchical character.Sample data was first detached by the fuzzy clustering method,and then the neural network was partitioned into several sub-nets based on the clustering results.The linking weights were elici- ted by solving equations.For a given input data,some multi-modules were selected to deal with it.The approxima- ting performance was improved by combining divide-and-conquer and learning ensemble strategies.A sub-net selec- tion method was designed based on distance measurements.Simulation results demonstrate that a multi-module co- operative neural network can heighten approximating abilityeffctively for complicated problems,and the training ime is faster than in a single back-propagation neural network. Keywords::neural networks;conditional fuzzy clustering method;multi-modules;sub-nets selection 生物医学和解剖学等学科的研究表明，生物神！法.1991年，Jacobs提出了模块化神经网络的概 经网络具有模块化和层次化的特性”.借助此特 念.2001年，Pedryoz系统阐述了模块化神经网络 性，人们开始从生物学的角度构建模块化神经网络， 的思想，并指出聚类技术是模块划分的一种有效方 其实质是将整个神经网络按照某一规则划分为若干 法.2005年，Darter等人将模块化神经网络用于车 模块，通过将各子模块的信息进行合并获得神经网 辆控制，整个网络分成了120个模块"”.此后，许多 络总体输出.模块化神经网络采用”分而治之”的原 学者对模块化神经网络的设计问题进行了研究，如 理，简化了计算，成为解决复杂问题的一种有效方 2007年，Santos提出了一种基于信息熵聚类的模块 划分方法；2009年，Park将条件模糊聚类用于 收稿日期2010-04-07 RBF网络模块划分，实现了高维问题的降维处 基金项目：国家自然科学基金资项目(60873043)：北京市自然科学 基金资助项目(4092010'， 理9. 任务分解是模块化神经网络设计的核心思想， 通信作者薄迎暙E-mai,:boy ingchun@sina.com. 所以，上述设计方法均致力于模块划分的独立性，力

Abstract:Aiming to solve the problems of long training time,low precision in procesing complex problem, and a local minimum in single neural networks,a multi-module cooperative neural network(MMCNN) was proposed. Its structure has hierarchical character. Sample data was first detached by the fuzzy clustering method, and then the neural network was partitioned into several sub-nets based on the clustering results. The linking weights were elici￾ed by solving equations. For a given input data,some multi-modules were selected to deal with it. The approxima￾ing performance was improved by combining divide-and-conquer and learning ensemble strategies. A sub-net selec￾tion method was designed based on distance measurements. Simulation results demonstrate that a multi-module co￾operative neural network can heighten approximating abilityeffctively for complicated problems,and the training ime is faster than in a single back-propagation neural network. 一种多模块协同参与的神经网络 智 能 系 统 学 报 关键词: 神经网络;条件模糊聚类;多模块;子网络选择 中图分类号: TP183 文献标识码: A 文章编号: 1673-4785(2011) 03-0225-06 Keywords: neural networks;conditional fuzzy clustering method; multi-modules; sub-nets selection 薄迎春,乔俊飞,杨刚 (北京工业大学电子信息与控制工程学院,北京100124) doi: 10.3969/j.issn.1673-4785.2011.03.006 BO Yingchun,QIAO Junfei,YANG Gang (College of Electronic Information and Control Engineering,Beiing University of Technology,Beijing 100124,China) 第6卷第3期 2011年6月 Vol.6 N.3 Jun.2011 法.1991年,Jacobs提出了模块化神经网络的概 念.2001年,Pedryoz系统阐述了模块化神经网络 的思想,并指出聚类技术是模块划分的一种有效方 法.2005年,Darter等人将模块化神经网络用于车 辆控制,整个网络分成了120个模块".此后,许多 学者对模块化神经网络的设计问题进行了研究,如 2007年,Santos提出了一种基于信息熵聚类的模块 划分方法;2009年,Park 将条件模糊聚类用于 RBF网络模块划分,实现了高维问题的降维处 理9. 生物医学和解剖学等学科的研究表明,生物神 经网络具有模块化和层次化的特性".借助此特 性,人们开始从生物学的角度构建模块化神经网络, 其实质是将整个神经网络按照某一规则划分为若干 模块,通过将各子模块的信息进行合并获得神经网 络总体输出.模块化神经网络采用"分而治之"的原 理,简化了计算,成为解决复杂问题的一种有效方 摘 要:针对单一神经网络训练时间长、对复杂问题处理精度较低、易陷入局部极小等问题,提出了一种多模块协同 参与信息处理的神经网络.该神经网络具有层级结构,基于条件模糊聚类技术对样本进行分类,根据分类结果实现 对神经网络的模块划分,采用代数算法对网络权值进行求解,基于距离测度设计了处理输入信息的子网络选择方 法.为提高神经网络对复杂问题的逼近能力,选择数目不等的多个子网络参与给定输入的协同处理,采取"分而治 之"与"集成学习"相结合方法以提高网络的性能.实验表明,对于复杂问题,这种多模块协同参与的神经网络可以有 收稿日期: 2010-04-07 基金项目: 国家自然科学基金资助项目(60873043);北京市自然科学 基金资助项目(4092010) . 通信作者:薄迎春.E-mail:boyingchun@sina.com. 效地提高网络的逼近精度,训练时间也优于单一网络. 任务分解是模块化神经网络设计的核心思想, 所以,上述设计方法均致力于模块划分的独立性,力 A multi-module cooperative neural network CAAI Transactions on Intelligent Systems

226 智能系统学报 第6卷 求一个模块能够独立地处理一个子任务.首先，由于 式的感受野)，对于某一输人信息，首先通过选择机 信息的模糊性，这种设计方法增加了模块划分的难 制从不同的子网络中选择适合对其处理的亚子网络 度；其次，对于边界信息，单一的模块处理难度较 (可能有多个，并分布在不同的子网络中)，从而使 大，会导致较大的边界误差.所以如何有效地进行子 每个输入信息都有一个或多个亚子网络从不同的角 网络的划分仍然是模块化神经网络设计的难点). 度对其处理。 针对上述问题，本文提出了一种多模块协同参 上述网络的设计过程主要包括子网络及亚子网 与信息处理的神经网络(multi--modules cooperative 络划分、网络选择及整合、网络学习3个部分.下面 neural networks,.MMCNN),该网络具有层级结构，每 就MMCNN的详细设计过程进行系统阐述， 次信息处理都有一个或多个模块的参与，允许各模 1.1子网络划分 块在功能上有一定程度的交叠，降低了模块设计的 基于样本特征分类进行网络划分是模块化神经网 难度.此外，输入信息由多个模块集成处理可以提高 络设计的常用方法56.条件模糊聚类方法9在样本特 网络的精度 征提取时考虑了输出的影响，将目标值作为样本分类 的指导，从而使分类更具有客观性这里采用条件模糊 1神经网络的模块划分与设计 技术进行子网络的划分.给定样本集{(X,y),k=1, 视觉系统的研究表明，视觉信息是按照视皮层 2,…,N},N为样本个数，首先将目标值yk进行K- 简单细胞一复杂细胞一超复杂细胞一更高级的超复 means聚类（分为P-2类），其聚类中心分别为{V,.2, 杂细胞的序列，由简单到复杂、由低级到高级分级处 V,3,…,V,P-i,令Vl=y,n=y,则共有P个聚 理的，复杂程度越高的细胞其数量越少8).这使得 类中心，然后将目标集Y按照式(1)构建P个模糊集 视觉系统具有自然的集成学习特性，而集成学习可 (y的隶属度曲线如图2所示)，根据此结果将整个神 以有效地提高神经网络的泛化能力和信息处理精 经网络划分为P个子网络。 度[8].视觉信息特征抽取是由不同形式的感受野实 lly-V.il 现的，每个感受野只对局部信息敏感，同一形式的感 exp Vyi-1 ≤Vi 受野映射范围存在交叠.视觉细胞每时每刻都存在 2 (1) 生长和死亡，所以，参与信息处理的感受野数量也时 -‖yk-Vd 刻发生变化基于视觉系统的信息处理模式，构造了 如图1所示的模块化神经网络的基本框架 子网络1 式中：f为样本ya对第(i=1,2,…,P)个模糊集的 隶属度。 1.0 0.8 子网路D 0. 0.2 图1 MMCNN网络结构 03.5 0.5 0.5 1.5 2.5 Fig.1 Structure of MMCNN 图2目标值y的模糊隶属函数 如图1所示，这种网络具有明显的层级结构.整 Fig.2 Membership degree of y 个网络被分成了P个子网络，每个子网络又被分为 C:个亚子网络（相当于单个感受野）.通过后续2级 对于每个目标模糊集，将输入X按照式(2) 神经元的整合获得网络的最终输出.值得注意的是， (3)进行模糊聚类 每个子网络内的亚子网络可能具有不同的特征，而 N 不同子网络的亚子网络特征可能相似（如人的左眼 ∑（山）X Vi= (2) 和右眼均包含对同一特征敏感的感受野细胞，而同 一只眼睛却包含了对颜色、形状、尺寸敏感的多种形 ()

第3期 薄迎春，等：一种多模块协同参与的神经网络 ·227· j 大，X进入W处理的可能性越大.按照最大隶属 (3) 度原则选取亚子网络，被选中的亚子网络记为 N4,令0=1,0=0，广≠s.这样，对于每个子网络 式中：V,为第i(i=1,2,…,P)个目标模糊集对应的第j 都会选出一个亚子网络用于处理X,每个子网络的 (G=1,2,…,C:)个输入模糊集的聚类中心；C:为第i个 输出即为N的输出.但是，这种选择只是一种初 目标模糊集对应的输入模糊聚类个数；a、b为常数，通 选，并不是所有的N（i=1,2,…,P)都适合处理 常a、b取值都为29；U=[“]Gxw为第i个目标模糊 X;所以，必须对不适合处理X但被选中的亚子网 集对应的输入模糊聚类的分割矩阵，满足： 络进行过滤，过滤方法与前述网络选择方法思想相 同，方法具体如下. 月e=64e[0.1小. 对于选出的亚子网络构建性能指标函数.令 上述方法将整个输入样本集划分为C,个样本 J=∑4 子集，其中C,=C:为每个样本子集构建一个亚子 式中： 网络，则共有C,个亚子网络，共分为P组（对应P 个子网络，用N表示，i=1,2,…,P),每个亚子网 名lea. 络（用N表示，j=1,2,…,C)分别处理相应的样 d:=IX-V‖/da, 本集和输入 1 1.2子网络选择 da= IX-V:. :台 子网络选择的实质是判断输人应该由哪些子网 令性能指标J最小化，利用拉格朗日乘子法可以解 络处理.按照上述分类方法，样本集和子网络存在对 出0 应关系，所以，网络选择的首要工作是确定给定输入 1 d=0; 隶属于哪个子网络和亚子网络的可能性大.按照相 1 近的输入产生相近输出的原理，若输入X距离样本 d d≠0. 中心V越近，则X。隶属于N的可能性就越大，这 里采用相对距离测度对X.隶属于N的可能性 进行测算.令 式中：d为W圳练样本的平均距离；d:为输人X G 对N的相对距离测度o;N,为N的样本数； V:为Ng的样本聚类中心；o:为X对N的隶属 式中： 度.由于每个子网络只有1个N处理Xk,0:实际 上也是X,对N:的隶属度，并且考虑到样本的交叠 2,=1,ge[0,1], 特性；因此设置一隶属度阈值K,满足0：≥K的子网 dy l X:-Vy ll/dag 络对X进行处理.通过上述的选择机制，对于给定 输入X,随X分布位置的不同和K的取值不同，将 1 X-Vl. 数量不定的子网络参与X,的处理. 1.3子网络整合 式中：d为N训练样本的平均距离；dg为输入X, 对于输入Xk,令W=（01,02,…,0r),若0：< 对N的相对距离测度；Ng为Nrg的样本数；og为 K,令0：=0(i=1,2,…,P),然后对w进行归一化处 Xk对Wry的隶属度 理.设网络总输出为Y,则 令性能指标J:最小化，利用拉格朗日(Lagrang- ian)乘子法可以解出0， Y=∑or 1, dg=0; 式中：y:为Nm对X的输出，U:为WNm的权值(w进行 归一化处理后的第个分量).对于没有被选中的子网 d≠0. 络，其权值0：=0，即未被选中的子网络对总输出无贡 献，总输出为被选中的子网络输出的加权和。 式中：i=1,2,…,P,j=1,2,…,C.显然，d越大，0 2网络学习 越小，X进入N处理的可能性越小；dg越小，0越 在整个网络中，每个子网络由多个亚子网并联

228 智能系统学报 第6卷 而成，每一个亚子网均采用多层感知器结构，所以仅 子网的节点数均取为7.仿真结果如图3~5所示， 以N为例来说明子网络学习过程.此外，由于每个 其中图3为样本曲面，图4为MMCNN拟合曲面，图 N结构简单，因此这里采用代数算法对权值进行 5为拟合误差曲面.函数拟合均方误差为7.9750× 求解.Ns时的输人为X.k-V,其中Xk∈X,Xg为 l0-4,尺度最小方差(scaled least squares error, W对应的样本子集，k=1,2,…,N,N为Nr对应 SLSE)为8.03×10-3，而文献[11]网络的SLSE 的样本子集样本个数.训练目标为： 为0.017，因此MMCNN网络具有较强的逼近能力. min l (y -V)-Nen(Xu.V)ll, Vr(Xu-Va)= (4) 式中：gm,为第m个隐层节点对输入样本X.的输 00.20.40.60.81.0 出；Mg为N隐层节点的个数；0g,m为NE的第m 图3样本曲面 个隐节点与输出节点的连接权值.显然当式(4)中 Fig.3 Curved surface of sample data 所有项均为0时，式(4)才达到最小，于是有： 8 0g,161,l+0g,2821+…+0g,M8Mg1=y1-V 4 0g,1B1,2+0g,2622+…+0g,M5M2=y92-V,a 0 1.0 0.5 00.20.40.60.81.0 9,81Y+0g2S2Ny+…+0,M,5M,Ng=写Ny-V 令 图4 MMCNN拟合曲面 Fig.4 Approximating curved surface of MMCNN 「g1,1 82,1 gMy.1 0.10 Hy= g1.2 g2,2 0.05 gMg.2 0 -0.05 -0.10+ 1.0 -g1,N g2.Ng gM行，Ng 0.5 1 00.20.40.60.8 「0g,l7 图5拟合误差曲面 W:- 0,2 Fig.5 Approximating error curved surface 为进一步研究MMCNN的逼近能力与训练时 Lwij.Mg 间，选取函数a=sin(ax)+sin(ay)进行测试（该函 则 数随a趋向∞，函数复杂度也趋向∞，所以文献[11- HiWa =Tg, 12]将此三角函数作为网络性能测试函数).MMC 于是 NN与其他网络的比较结果如表1所示，表1中t1、 Wa=(H)T t2、3分别为MMCNN、单一BP网络和RBF网络的 式中：Wg为Vy的隐层与输出连接权向量；(Hg) 训练时间.由表1可见，MMCNN的训练时间较单一 是H,的Moore_Penrose逆，上述推导过程没有涉及 的BP网络及RBF网络有明显改善，这是由于 输入与隐层之间的连接权值；所以，输入与隐层之间 MMCNN的训练采用代数算法，其训练时间只是解 的连接权值可以随机给定，即此求解方法只需要学 C,个方程组的时间.随着函数复杂度的提高，MMC 习隐层输出连接权值矩阵即可。 NN的亚子网个数也随之增加（由于所有测试函数 3仿真实验 目标值范围均为[-2,2]，所以在所有测试中P=4 不变)，但每个亚子网的隐层节点只做了较小的调 为验证网络的逼近能力，选取文献[11]的实验 整.即使对于很复杂的函数，通过MMCNN亚子网个 函数，该函数常被用于网络逼近能力测试，函数形式 数的调整（如表2），也可以使网络有较强的逼近能 如下： 力.当函数复杂度不高时，3种网络的测试均方差相 z=1.9(1.35+e-sin(13x-0.6)2esin(7y). 当，可通过增加隐层节点数来提高BP网络的逼近 式中：x,y∈[0,1].仿真过程中，取P=4,C={3,4, 精度.但当函数复杂度较高时（α为16r或32π）， 4,1}为每个子网络的亚子网个数，K=0.1,每个亚 MMCNN的测试均方差明显小于BP和RBF网络

第3期 薄迎春，等：一种多模块协同参与的神经网络 229. 尤其是a增加到32π时，由于BP网络和RBF可调 MMCNN由于每个亚子网络保持了简单的结构，并 参数过多，基于误差反向传播的梯度下降算法已经 在学习中采用了代数直接求解权值的方法，避免了 很难学习到较优的参数，BP网络及RBF网络的训 局部极小的风险，训练时间也大大减少.从表1可以 练时间大幅增加，泛化能力也急剧降低，已不能通过 看出，对于复杂问题，MMCNN的逼近能力优于单一 增加隐层节点数的方法提高其逼近能力.相比之下， BP网络及RBF网络， 表1 MMCNN与BP网络的性能比较 Table 1 Performance comparison of BP network and MMCNN 测试均方差ews/10 训练时间/s MMCNN BP RBF 2m 6.79 7.13 6.13 1.2 17.4 2.0 4n 7.06 7.27 6.98 3.5 45.1 6.0 8T 7.10 9.35 8.21 6.7 540.1 232.3 16m 9.62 99.50 24.80 10.1 1620.0 789.6 32π 2.61 2448.00 322.00 28.2 2160.0 1867.0 表2 MMCNN与BP网络的参数 Table 2 Parameters of BP network and MMCNN 隐层节点个数n K MMCNN BP RBF 2w 6 15 6 {1,2,2,1 0.20 4π 6 40 15 {4,4,4,4 0.15 8T 8 65 20 18,8,8,8} 0.10 16m 10 95 56 {16,16,16,16 0.10 32m 10 100 7 4 {32,32,32,32 0.10 MMCNN的每个亚子网络都有较为简单的结 这些参数都在不同程度上影响系统的性能，如何根 构，虽然函数复杂时，亚子网络较；但对于任一输入 据样本特征自动选择合理的参数是一个值得研究的 信息，只有少数几个亚子网络参与计算，所以计算复 问题 杂度并不会提高.为简单起见，仿真过程中亚子网络 的隐层节点数相同，这必然会存在冗余的隐层神经 参考文献： 元，针对这个问题可以采用适当的修剪算法「]剔除 [1]GARPENTER G A.Large-scale neural systems for vision 冗余神经元 and cognition[C]//Proceedings of Interational Joint Con- ference on Neural Networks.Boston,USA,2009:14-19. 4结束语 [2]JACOBS R A,JORDAN M I.A modular connectionist ar- MMCNN网络从生物视觉信息处理角度出发， chitecture for learning piecewise control strategies[C]//Pro 模块划分的过程中同时考虑每个子网络的独立性和 ceedings of the American Control Conference.Boston, USA,1991:343351. 功能交叠，借鉴了集成学习的思想，根据输人信息的 特征采取多模块协同参与信息处理，任务分解与集 [3]PEDRYCZ W,VUKVICH G.Granular neural networks [J].Neurocomputing,2001(36):205-224. 成处理并存更符合生物认知的思想.这种方式使复 [4]DATER M A,GORDON V S.Vehicle steering control using 杂任务的分解难度降低，实验表明，对于复杂问题， modular neural networks[C]//IEEE International Confer- 该网络在逼近能力上有所提高，此外，采用代数方法 ence on Information Reuse and Integration.Las Vegas, 求解权值，极大地减小了训练时间.但是，相比单 USA,2005:374-379. 网络，MMCNN网络需要确定的参数较多（如子网、 [5]SANTOS J M,ALEXANDRE L A,De SA J M.Modular 亚子网个数、每个亚子网的节点数以及阈值K等)， neural network task decomposition via entropic clustering

.230. 智能系统学报 第6卷 [C]//Proceedings of the Sixth International Conference on [J].IEEE Transactions on Neural Networks,2006,17 Intelligent Systems Design and Applications.Porto,Portu- (4):942-952. gl,2006:1-6. [13]乔俊飞，张颖.一种多层前馈神经网络的快速修剪算法 [6]PARK H S,PEDRYCZ W.Granular neural networks and [J].智能系统学报，2008,3(2)：173-176. their development through context-based clustering and ad- QIAO Junfei,ZHANG Ying.Fast unit pruning algorithm justable dimensionality of receptive fields[J].IEEE Trans for multilayer feedforward network design [J].CAAI actions on Neural Networks,2009,20(10):1604-1616. Transactions on Intelligent Systems,2008,3(2):173- [7]CIMINO M G C A,PEDRYCZ W,LAZZERINI B,et al. 176. Using multilayer perceptrons as receptive fields in the design 作者简介： of neural networks[J].Neurocomputing,2009,72(10/11/ 薄迎春，男，1977年生，博士研究 12):2536-2548. 生，讲师，主要研究方向为神经计算与 [8]GOH H L,LIM J H,QUEK C.Learing from an ensemble 智能优化控制. of receptive fields[C]//Proceedings of the 8th IEEE Inter- national Conference on Cognitive Informatics (ICCI).Hong Kong,China,2009:86-93. [9]PEDRYCZ W.Conditional fuzzy clustering in the design of radial basis function neural networks J].IEEE Transac- 乔俊飞，男，1968年生，教授，博士 tions on Neural Networks,1998,4(9):601-612. 生导师，博士，中国人工智能学会理事、 [10]王攀，李幼凤，范衡，等.模块化神经网络子网的动态集 科普工作委员会秘书长，中国自动化学 成方法学研究[J].系统工程与电子技术，2008,30 会智能专业委员会委员，北京自动化学 (6):1143-1147. 会常务理事，北京人工智能学会理事、 WANG Pan,LI Youfeng,FAN Zhun,et al.Methodologi- 秘书长.主要研究方向为复杂过程建模 cal research for dynamic integration of modular neural net- 与控制、神经计算与智能优化控制.主持多项国家“863”计 work's sub-networks[J].Systems Engineering and Elec- 划项目，发表学术论文多篇，被SC1、EI检索50余篇， tronics,2008,30(6):1143-1147. [11]WANG Shuning,HUANG Xiaolin,JUNAID K M.Config- 杨刚，男，1983年生，博士研究生， uration of continuous piecewise-linear neural networks[J]. 主要研究方向为神经计算与智能优化 IEEE Transactions on Neural Networks,2008,19 (8): 控制。 1431-1444. [12]WEDGE D,INGRAM D,MCLEAN D,et al.On global- local artificial neural networks for function approximation