第1卷第2期 智能系统学报 Vol.1 N2 2 2006年10月 CAAI Transactions on Intelligent Systems 0ct.2006 模块化神经网络的Bayes 子网集结新算法研究 王攀2，李幼凤3，冯珊2 (1.武汉理工大学自动化学院，湖北武汉430070：2.华中科技大学控制系，湖北武汉430074；3.浙江大学信息 学院，浙江杭州310027) 摘要：针对模块化神经网络的重要命题一子网动态集成问题，提出一种基于改进的Bycs学习的子网集结新方 法.首先从处理复杂问题能力、计算开销、训练误差限等级的合理性逼近正确率的构造等方面分析了已有方法的不 足.既而提出相应策略，其核心在于采用了简洁、相关性小的子网生成方法：同时以误差作为依据提出新的逼近正确 率指标以确定子网的动态集结权值.仿真实验对两种改进方法的测试误差进行了比较研究，结果表明了改进方法的 有效性。 关键词：模块化神经网络；Bayes学习；子网集成 中图分类号：TP183文献标识码：A文章编号：16734785(2006)02007905 Novel integrated algorithm of modular neural net work's subnets based on Bayesian learning WANG Pan',LI Youfeng,FEN G Shan2 (1.School of Automation,Wuhan University of Technology,Wuhan 430070,China;2.Department of Control,Huazhong University of Science and Technology,Wuhan 430070,China;3.School of Information,Zhejiang University,Hangzhou 320027,China) Abstract:Aiming at the important issue of modular neural network(MNN)-the dynamic integration of the sub-nets,a novel integrated algorithm based on the improved Bayesian learning is presented.Firstly, the drawbacks of the old algorithm are analyzed from four aspects the processing ability for complex prob- lems,computing cost,the rationality of trained error limit and the approximated accuracy.Then the corre- sponding strategy is presented whose key points are adopting a concise and lowly correlative sub-nets gen- erating method,and then a new approximated accuracy index based on the error measure is presented to determine subrnets'dynamic integration weights.The effectiveness of the above algorithms was demon- strated by simulation through the comparative research to two improved algorithms'test accuracy. Keywords:modular neural network;Bayesian learning;subnets'integration 学习机的集成是当前机器学习研究的一个主要到目前为止，提出的方法有很多，如文献[31中的等 方向，并且被广泛应用于现实之中山.而模块化神 权值法（即平均法）、LS法、线性最优连接法 经网络则是学习机集成的典型范例).模块化神经 (MSEOLCs)、模糊积分法(F)、Stacked Generaliza 网络研究的一个核心问题是如何有效地集结子网输 tion法、主元回归法(PCR)、部分最小二乘法 出，狭义地说，是如何确定各子网的输出投票权重. (PLS)、并行递推预报误差法(PRPE).此外，基于 Bayes学习的子网集成法（这里简称为Bayes学习 收稿日期：200601-04. 法)也是获取子网的输出投票权重的一种有效方 基金项目：因家自然科学基金资助项目(60174039). 法4.).蔡骏博士提出的一种Bayes学习法思路新 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net第 1 卷第 2 期 智 能 系 统 学 报 Vol. 1 №. 2 2006 年 10 月 CAAI Transactions on Intelligent Systems Oct. 2006 模块化神经网络的 Bayes 子网集结新算法研究 王 攀1 ,2 ,李幼凤3 ,冯 珊2 (1. 武汉理工大学 自动化学院 ,湖北 武汉 430070 ;2. 华中科技大学 控制系 ,湖北 武汉 430074 ;3. 浙江大学 信息 学院 ,浙江 杭州 310027) 摘 要 :针对模块化神经网络的重要命题 ———子网动态集成问题 ,提出一种基于改进的 Bayes 学习的子网集结新方 法. 首先从处理复杂问题能力、计算开销、训练误差限等级的合理性、逼近正确率的构造等方面分析了已有方法的不 足. 既而提出相应策略 ,其核心在于采用了简洁、相关性小的子网生成方法 ;同时以误差作为依据提出新的逼近正确 率指标以确定子网的动态集结权值. 仿真实验对两种改进方法的测试误差进行了比较研究 ,结果表明了改进方法的 有效性. 关键词 :模块化神经网络 ;Bayes 学习 ;子网集成 中图分类号 : TP183 文献标识码 :A 文章编号 :167324785 (2006) 0220079205 Novel integrated algorithm of modular neural network’ s sub2nets based on Bayesian learning WAN G Pan 1 , L I You2feng 3 , FEN G Shan 2 (1. School of Automation , Wuhan University of Technology , Wuhan 430070 , China ; 2. Department of Control , Huazhong University of Science and Technology , Wuhan 430070 , China ; 3. School of Information , Zhejiang University , Hangzhou 320027 , China) Abstract :Aiming at t he important issue of modular neural network (MNN) —t he dynamic integration of t he sub2nets , a novel integrated algorithm based on t he improved Bayesian learning is p resented. Firstly , t he drawbacks of t he old algorit hm are analyzed from four aspects2the p rocessing ability for complex prob2 lems , comp uting cost , t he rationality of trained error limit and t he approximated accuracy. Then t he corre2 sponding strategy is presented whose key points are adopting a concise and lowly correlative sub2nets gen2 erating met hod , and then a new approximated accuracy index based on t he error measure is presented to determine sub2nets’dynamic integration weights. The effectiveness of t he above algorit hms was demon2 strated by simulation through the comparative research to two improved algorit hms’test accuracy. Keywords :modular neural network ; Bayesian learning ; sub2nets’integration 收稿日期 :2006201204. 基金项目 :国家自然科学基金资助项目(60174039) . 学习机的集成是当前机器学习研究的一个主要 方向 , 并且被广泛应用于现实之中[1 ] . 而模块化神 经网络则是学习机集成的典型范例[2 ] . 模块化神经 网络研究的一个核心问题是如何有效地集结子网输 出 ,狭义地说 ,是如何确定各子网的输出投票权重. 到目前为止 ,提出的方法有很多 ,如文献[3 ]中的等 权值法 ( 即平 均法) 、RL S 法、线 性最优连 接法 (MSEOLCs) 、模糊积分法(FI) 、Stacked Generaliza2 tion 法、主 元 回 归 法 ( PCR) 、部 分 最 小 二 乘 法 (PLS) 、并行递推预报误差法 (PRPE) . 此外 ,基于 Bayes 学习的子网集成法 (这里简称为 Bayes 学习 法) 也是获取子网的输出投票权重的一种有效方 法[4 - 5 ] . 蔡骏博士提出的一种 Bayes 学习法思路新 © 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net