第8卷第4期 智能系统学报 Vol.8 No.4 2013年8月 CAAI Transactions on Intelligent Systems Aug.2013 D0I:10.3969/j.issn.1673-4785.201305026 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20130827.1104.002.html 一种优化神经网络的教与学优化算法 拓守恒 (陕西理工学院数学与计算机科学学院，陕西汉中723001) 摘要：为了提高B即神经网络的输出精度，提出一种改进的教与学优化算法进行神经网络中的权值和阈值的优化 调整算法对基本的教与学优化算法的“教”阶段和“学”阶段分别进行改进，并提出一种“自学”机制来增强算法的学 习能力通过函数拟合实验和拖拉机齿轮箱故障诊断实验进行算法性能测试，结果表明，与遗传算法和基本的教与学 优化算法相比，该算法具有收敛速度快、求解精度高等优势： 关键词：改进的教与学优化算法；“自学”机制：神经网络；函数拟合；齿轮箱故障诊断 中图分类号：TP31文献标志码：A文章编号：1673-4785(2013)04-0327-06 中文引用格式：拓守恒.一种优化神经网络的教与学优化算法[J].智能系统学报，2013,8(4)：327-332. 英文引用格式：TUO Shouheng..A modified teaching-.learning-based optimization algorithm and application in neural networks[J] CAAI Transactions on Intelligent Systems,2013,8(4):327-332. A modified teaching-learning-based optimization algorithm and application in neural networks TUO Shouheng (School of Mathematics and Computer Science,Shaanxi University of Technology,Hanzhong 723001,China) Abstract:In order to improve the output accuracy of back propagation neural network,a modified teaching-learn- ing-based optimization MTLBO)algorithm is proposed to train the weight and threshold value of neural network.In the MTLBO method,the "Teaching"phase and "Learning"phase were modified on the basis of TLBO algorithm, and a new "Self-Learning"mechanism was proposed to intensify global searching ability.Finally,the function fit- ting experiment and the tractor gearbox diagnosis experiment were used to test the performance of the proposed algo- rithm.Simulations show that this algorithm has a better convergence,prediction accuracy and robustness compared to the genetic algorithm (GA)and the basic teaching-learning-based optimization (TLBO)algorithm. Keywords:modified teaching-learning-based optimization algorithm;"self-learning"mechanism;neural network; function fitting;gearbox fault diagnosis 近年来，神经网络(neural network,NN)受到很 输出和问题的实际输出值之间的误差尽可能小.因 多学者的关注，它的应用取得了很好的成效.NN为 此如何调节网络连接权值就成为确定BP神经网络 解决大规模复杂问题提供了一种简单易行的方法， 结构的重点.目前，对神经网络的优化主要是梯度优 被广泛用于模式识别等分类和预测问题.BP(back 化技术，如反向传播学习算法.反向传播学习算 propagation)神经网络结构划分为输入层、隐含层和 法[1]在神经网络中得到了广泛的应用，BP神经网 输出层输人层节点用于接收一组预测变量，输出层 络由信息的正向传播和误差的反向传播2个过程组 节点输出相应的目标值（目标值可以不止一个）.BP 成.输入层各神经元负责接收来自外界的输入信息， 神经网络构建的主要工作是通过调节连接输入层、 并传递给中间层各神经元：中间层是内部信息处理 隐含层和输出层之间的连接权值，使得神经网络的 层，负责信息变换，根据信息变化能力的需求，中间 层可以设计为单隐层或者多隐层结构：最后一个隐 收稿日期：2013-05-09.网络出版日期：2013-08-27 基金项目：陕西省教育厅科研计划资助项目(12K0863):陕西理工科 层传递到输出层各神经元的信息，经进一步处理后， 研项目(SLGKY12-16). 通信作者：拓守恒.E-mail:tmo_sh@126.com 完成一次学习的正向传播处理过程，由输出层向外第 ８ 卷第 ４ 期 智 能 系 统 学 报 Ｖｏｌ．８ №．４ ２０１３ 年 ８ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｕｇ． ２０１３ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０５０２６ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１３０８２７．１１０４．００２．ｈｔｍｌ 一种优化神经网络的教与学优化算法 拓守恒 （陕西理工学院 数学与计算机科学学院， 陕西 汉中 ７２３００１） 摘 要：为了提高 ＢＰ 神经网络的输出精度，提出一种改进的教与学优化算法进行神经网络中的权值和阈值的优化 调整．算法对基本的教与学优化算法的“教”阶段和“学”阶段分别进行改进，并提出一种“自学”机制来增强算法的学 习能力．通过函数拟合实验和拖拉机齿轮箱故障诊断实验进行算法性能测试，结果表明，与遗传算法和基本的教与学 优化算法相比，该算法具有收敛速度快、求解精度高等优势． 关键词：改进的教与学优化算法； “自学”机制；神经网络；函数拟合；齿轮箱故障诊断 中图分类号：ＴＰ３１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１３）０４⁃０３２７⁃０６ 中文引用格式：拓守恒．一种优化神经网络的教与学优化算法［Ｊ］． 智能系统学报， ２０１３， ８（４）： ３２７⁃３３２． 英文引用格式：ＴＵＯ Ｓｈｏｕｈｅｎｇ． Ａ ｍｏｄｉｆｉｅｄ ｔｅａｃｈｉｎｇ⁃ｌｅａｒｎｉｎｇ⁃ｂａｓｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１３， ８（４）： ３２７⁃３３２． Ａ ｍｏｄｉｆｉｅｄ ｔｅａｃｈｉｎｇ⁃ｌｅａｒｎｉｎｇ⁃ｂａｓｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ＴＵＯ Ｓｈｏｕｈｅｎｇ （Ｓｃｈｏｏｌ ｏｆ Ｍａｔｈｅｍａｔｉｃｓ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， Ｓｈａａｎｘｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｈａｎｚｈｏｎｇ ７２３００１， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｏｕｔｐｕｔ ａｃｃｕｒａｃｙ ｏｆ ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ａ ｍｏｄｉｆｉｅｄ ｔｅａｃｈｉｎｇ⁃ｌｅａｒｎ⁃ ｉｎｇ⁃ｂａｓｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ （ＭＴＬＢＯ） ａｌｇｏｒｉｔｈｍ ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ ｔｒａｉｎ ｔｈｅ ｗｅｉｇｈｔ ａｎｄ ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ． Ｉｎ ｔｈｅ ＭＴＬＢＯ ｍｅｔｈｏｄ， ｔｈｅ “Ｔｅａｃｈｉｎｇ” ｐｈａｓｅ ａｎｄ “Ｌｅａｒｎｉｎｇ” ｐｈａｓｅ ｗｅｒｅ ｍｏｄｉｆｉｅｄ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ＴＬＢＯ ａｌｇｏｒｉｔｈｍ， ａｎｄ ａ ｎｅｗ “Ｓｅｌｆ⁃Ｌｅａｒｎｉｎｇ” ｍｅｃｈａｎｉｓｍ ｗａｓ ｐｒｏｐｏｓｅｄ ｔｏ ｉｎｔｅｎｓｉｆｙ ｇｌｏｂａｌ ｓｅａｒｃｈｉｎｇ ａｂｉｌｉｔｙ． Ｆｉｎａｌｌｙ， ｔｈｅ ｆｕｎｃｔｉｏｎ ｆｉｔ⁃ ｔｉｎｇ ｅｘｐｅｒｉｍｅｎｔ ａｎｄ ｔｈｅ ｔｒａｃｔｏｒ ｇｅａｒｂｏｘ ｄｉａｇｎｏｓｉｓ ｅｘｐｅｒｉｍｅｎｔ ｗｅｒｅ ｕｓｅｄ ｔｏ ｔｅｓｔ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏ⁃ ｒｉｔｈｍ． Ｓｉｍｕｌａｔｉｏｎｓ ｓｈｏｗ ｔｈａｔ ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｈａｓ ａ ｂｅｔｔｅｒ ｃｏｎｖｅｒｇｅｎｃｅ， ｐｒｅｄｉｃｔｉｏｎ ａｃｃｕｒａｃｙ ａｎｄ ｒｏｂｕｓｔｎｅｓｓ ｃｏｍｐａｒｅｄ ｔｏ ｔｈｅ ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍ （ＧＡ） ａｎｄ ｔｈｅ ｂａｓｉｃ ｔｅａｃｈｉｎｇ⁃ｌｅａｒｎｉｎｇ⁃ｂａｓｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ （ＴＬＢＯ） ａｌｇｏｒｉｔｈｍ． Ｋｅｙｗｏｒｄｓ：ｍｏｄｉｆｉｅｄ ｔｅａｃｈｉｎｇ⁃ｌｅａｒｎｉｎｇ⁃ｂａｓｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ； “ ｓｅｌｆ⁃ｌｅａｒｎｉｎｇ” ｍｅｃｈａｎｉｓｍ； ｎｅｕｒａｌ ｎｅｔｗｏｒｋ； ｆｕｎｃｔｉｏｎ ｆｉｔｔｉｎｇ； ｇｅａｒｂｏｘ ｆａｕｌｔ ｄｉａｇｎｏｓｉｓ 收稿日期：２０１３⁃０５⁃０９． 网络出版日期：２０１３⁃０８⁃２７． 基金项目：陕西省教育厅科研计划资助项目（１２ＪＫ０８６３）；陕西理工科 研项目（ＳＬＧＫＹ １２⁃１６）． 通信作者：拓守恒． Ｅ⁃ｍａｉｌ：ｔｕｏ＿ｓｈ＠ １２６．ｃｏｍ． 近年来，神经网络（ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＮＮ）受到很 多学者的关注，它的应用取得了很好的成效．ＮＮ 为 解决大规模复杂问题提供了一种简单易行的方法， 被广泛用于模式识别等分类和预测问题．ＢＰ （ ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）神经网络结构划分为输入层、隐含层和 输出层．输入层节点用于接收一组预测变量，输出层 节点输出相应的目标值（目标值可以不止一个）．ＢＰ 神经网络构建的主要工作是通过调节连接输入层、 隐含层和输出层之间的连接权值，使得神经网络的 输出和问题的实际输出值之间的误差尽可能小．因 此如何调节网络连接权值就成为确定 ＢＰ 神经网络 结构的重点．目前，对神经网络的优化主要是梯度优 化技术， 如反向传播学习算法． 反向传播学习算 法［１⁃２］在神经网络中得到了广泛的应用，ＢＰ 神经网 络由信息的正向传播和误差的反向传播 ２ 个过程组 成．输入层各神经元负责接收来自外界的输入信息， 并传递给中间层各神经元；中间层是内部信息处理 层，负责信息变换，根据信息变化能力的需求，中间 层可以设计为单隐层或者多隐层结构；最后一个隐 层传递到输出层各神经元的信息，经进一步处理后， 完成一次学习的正向传播处理过程，由输出层向外