第2卷第3期 智能系统学报 Vol.2№3 2007年6月 CAAI Transactions on Intelligent Systems Jun.2007 采用改进的粒子群算法训练CNNE模型 杨春玲，王来，朱敏 (哈尔滨工业大学电气工程及自动化学院，黑龙江哈尔滨150001) 摘要：提出用人工智能算法—粒子群优化算法(PSO)对CNNE模型进行训练，并针对标准粒子群算法易限于局 部极小点的局限性，采用了一种带有梯度加速的粒子群算法，通过引入梯度信息来影响粒子速度的更新.为防止陷 入局部最优，在群体最优信息陷入停滞时，对部分粒子进行重新初始化，从而保持群体的活性，减小群体陷入局优的 可能性.采用粒子群算法训练的CNNE模型较原来的分布式最速下降法而言，在保证精度的前提下，提高了算法的 收敛速度，解决了发射率的在线实时测量问题. 关键词：CNNE模型：粒子群：梯度 中图分类号：TP183文献标识码：A文章编号：1673-4785(2007)03006706 Using the improved particle swarm optimization to train the CNNE model YANG Chumling,WAN G Jiamlai ,ZHU Min (School of Electrical Engineering and Automation,Harbin Institute of Technology,Harbin 150001,China) Abstract:An artificial intelligence algorithm-particle swarm optimization (PSO)-is proposed to train the CNNE model.To overcome a limitation of standard particle swarm optimization,which can easily be re- stricted at a local optimum point,a particle swarm optimization (PSO)algorithm with gradient acceleration was created that adds gradient information to periodically force updating of the velocities of particles. When the optimum information for the swarm is stagnant,some particles in the population are initialized a- gain to reduce the possibility of becoming trapping in a local optimum.Compared to the step steepest de- scent algorithm,training the CNNE model with the particle swarm optimization algorithm can improve the speed of convergence of the algorithm while keeping its precision,which solves the challenge of real-time measurement of emissivity. Key words:CNNE model;particle swarm optimization;gradient 光谱发射率是目标红外辐射特性的一个重要参 比较敏感，导致收敛速度较缓慢，不能满足发射率在 量.对其测量可以了解材料的红外辐射特性，这对于 线实时测量问题.因此引入一种新颖的人工智能算 材料科学的发展，从而进一步促进航天航空、国防科 法粒子群优化算法用来对CNNE模型进行训 技事业的进步有着重要意义. 练，在保证精度的前提下，大大提高了收敛速度 在文献[1-2]中，建立了激活函数可调(tuna 粒子群优化算法(partical swarm optimization, ble activation function)的组合神经网络发射率模型 PSO)是由Kennedy和Eberhart于1995年提出的 (简称TAF-CNNE模型)用于目标发射率的辨识， 一种基于群体智能(swarm intelligence)的进化计算 并用分布式最速下降法对神经网络模型进行了训 技术，其基本思想源于对鸟群捕食等群体行为的研 练.仿真结果表明该方法搜索精度高，但由于有梯度 究B,.目前，PS0己广泛应用于函数优化、神经网 运算，结构比较复杂，迭代次数较大，且对初值变化 络训练、模式分类、模糊系统控制以及其他的应用领 域.近几年的研究和实践表明，PS0在多维空间函 收稿日期：20061013. 基金项目：因家自然科学基金资助项目(60377037)；黑龙江省自然科 数寻优、动态目标寻优等方面有着收敛速度快、解质 学基金资助项目(F200413). 量高、鲁棒性好等优点，特别适合工程应用) 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net第 2 卷第 3 期 智 能 系 统 学 报 Vol. 2 №. 3 2007 年 6 月 CAA I Transactions on Intelligent Systems J un. 2007 采用改进的粒子群算法训练 CNN E 模型 杨春玲 ,王目柬来 ,朱 敏 (哈尔滨工业大学 电气工程及自动化学院 ,黑龙江 哈尔滨 150001) 摘 要 :提出用人工智能算法 ———粒子群优化算法( PSO)对 CNN E 模型进行训练 ,并针对标准粒子群算法易限于局 部极小点的局限性 ,采用了一种带有梯度加速的粒子群算法 ,通过引入梯度信息来影响粒子速度的更新. 为防止陷 入局部最优 ,在群体最优信息陷入停滞时 ,对部分粒子进行重新初始化 ,从而保持群体的活性 ,减小群体陷入局优的 可能性. 采用粒子群算法训练的 CNNE 模型较原来的分布式最速下降法而言 ,在保证精度的前提下 ,提高了算法的 收敛速度 ,解决了发射率的在线实时测量问题. 关键词 :CNN E 模型 ;粒子群 ;梯度 中图分类号 : TP183 文献标识码 :A 文章编号 :167324785 (2007) 0320067206 Using the improved particle swarm optimization to train the CNNE model YAN G Chun2ling ,WAN G Jian2lai ,ZHU Min (School of Electrical Engineering and Automation , Harbin Institute of Technology , Harbin 150001 , China) Abstract :An artificial intelligence algorit hm2particle swarm optimization (PSO)2is proposed to train t he CNN E model. To overcome a limitation of standard particle swarm optimization , which can easily be re2 stricted at a local optimum point , a particle swarm optimization (PSO) algorit hm with gradient acceleration was created t hat adds gradient information to periodically force updating of t he velocities of particles. When t he optimum information for t he swarm is stagnant , some particles in t he pop ulation are initialized a2 gain to reduce t he possibility of becoming trapping in a local optimum. Compared to t he step steepest de2 scent algorit hm , training t he CNN E model with the particle swarm optimization algorit hm can improve t he speed of convergence of t he algorit hm while keeping its precision , which solves t he challenge of real2time measurement of emissivity. Keywords :CNN E model ; particle swarm optimization ; gradient 收稿日期 :2006210213. 基金项目 :国家自然科学基金资助项目(60377037) ;黑龙江省自然科 学基金资助项目( F2004213) . 光谱发射率是目标红外辐射特性的一个重要参 量. 对其测量可以了解材料的红外辐射特性 ,这对于 材料科学的发展 ,从而进一步促进航天航空、国防科 技事业的进步有着重要意义. 在文献[ 1 - 2 ]中 ,建立了激活函数可调 (tuna2 ble activation f unction) 的组合神经网络发射率模型 (简称 TAF - CNN E 模型) 用于目标发射率的辨识 , 并用分布式最速下降法对神经网络模型进行了训 练. 仿真结果表明该方法搜索精度高 ,但由于有梯度 运算 ,结构比较复杂 ,迭代次数较大 ,且对初值变化 比较敏感 ,导致收敛速度较缓慢 ,不能满足发射率在 线实时测量问题. 因此引入一种新颖的人工智能算 法 ———粒子群优化算法用来对 CNN E 模型进行训 练 ,在保证精度的前提下 ,大大提高了收敛速度. 粒子群优化算法(partical swarm optimization , PSO) 是由 Kennedy 和 Eberhart 于 1995 年提出的 一种基于群体智能(swarm intelligence) 的进化计算 技术 ,其基本思想源于对鸟群捕食等群体行为的研 究[3 - 4 ] . 目前 ,PSO 已广泛应用于函数优化、神经网 络训练、模式分类、模糊系统控制以及其他的应用领 域. 近几年的研究和实践表明 ,PSO 在多维空间函 数寻优、动态目标寻优等方面有着收敛速度快、解质 量高、鲁棒性好等优点 ,特别适合工程应用[ 5 ]