·404 智能系统学报 第12卷 ture selection for MLP neural network:the use of random [33 LIU Quanjin,ZHAO Zhimin,LI Yingxin.Ensemble permutation of probabilistic outputs[.IEEE transactions feature selection method based on neighborhood information on neural networks,2009,20(12):1911-1922 and PSO algorithm[J].Acta electronica sinica,2016,44 [21]QUINLAN J R.Induction of decision trees [J].Machine (4):995-1002. learning,1986,1:81-106. [34]FONG S,WONG R,VASILAKOS A.Accelerated PSO [22]BREIMAN L,FRIEDMAN J H,RICHARD A S,et al. swarm search feature selection for data stream mining big Classification and regression trees[M].Belmont,CA: data[J].IEEE transactions on services computing,2016, wadsworth international group,1984. 9(1):33-45. [23]SETIONO R,LIU H.Neural-network feature selector [J]. [35]翟俊海，刘博，张素芳.基于相对分类信息嫡的进化特 IEEE transactions on neural networks,1997,8(3):654-662. 征选择算法[J].模式识别与人工智能，2016,29(8)： [24]SHEN Kaiquan,ONG Chongjin,LI Xiaoping,et al.Feature 682-690. selection via sensitivity analysis of SVM probabilistic ZHAI Junhai,LIU Bo,ZHANG Sufang.Feature selection outputs[J].Machine learning,2008,70:1-20. via evolutionary computation based on relative classification [25]PERKINS S,LACKER K,THEILER J.Grafting:fast,in- information entropy[].Pattern recognition and artificial cremental feature selection by gradient descent in function intelligence,2016,29(8):682-690. space [J].Journal of machine learning research,2003 [36]SHI B Y,EBERHART R.A modified particle swarm opti- (3)：1333-1356. mizer[J].IEEE world congress on computational intelli- [26]KENNEDY J,EBERHART R.Particle swarm optimization gence,1999,6:69-73. [C].IEEE International Conference on Neural Networks. 作者简介： Perth,Australia,1995,4:1942-1948. 翟俊海，男，1964年生，男，教授，中 [27]EBERHART R C,SHI Y H,KENNEDY J.Swarm Intelli- 国人工智能学会粗糙集与软计算专业 gence[M].Massachusetts:Morgan Kaufmann,2001. 委员会委员，主要研究方向为机器学 [28]EBERHART R C,KENNEDY J.A discrete binary version 习。近几年主持或参与省部级以上项 of the particle swarm algorithm [J].IEEE conference on 日10余项，获河北省自然科学三等奖1 systems,1997,5:4104-4109. 项，出版专著4部，发表论文70余篇。 [29]CHUANG L Y,CHANG H W,TU C J,et al.Improved binary PSO for feature selection using gene expression data[J].Computational biology chemistry,2008,32(1): 刘博，男.1989年生.硕士研究生. 29-37. 主要研究方向为机器学习。 [30]CHUANG L Y,TSAI S W,YANG C H.Improved binary particle swarm optimization using catfish effect for feature selection[J].Expert systems with applications,2011,38 (10):12699-12707. [31]WANG Xiangyang,YANG Jie,TENG Xiaolong,et al. Feature selection based on rough sets and particle swarm 张素芳，女，1966年生，副教授，主 optimization[J].Pattern recognition letters,2007,28 要研究方向为机器学习。 (4):459-471. [32]CERVANTE L,XUE B,ZHANG M,et al.Binary particle swarm optimisation for feature selection:a filter based approach[]].Evolutionary computation,2012,41:1-8.ｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ＭＬＰ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ： ｔｈｅ ｕｓｅ ｏｆ ｒａｎｄｏｍ ｐｅｒｍｕｔａｔｉｏｎ ｏｆ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｏｕｔｐｕｔｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ２００９， ２０（１２）： １９１１－１９２２． ［２１］ＱＵＩＮＬＡＮ Ｊ Ｒ． Ｉｎｄｕｃｔｉｏｎ ｏｆ ｄｅｃｉｓｉｏｎ ｔｒｅｅｓ ［ Ｊ］． Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ， １９８６， １： ８１－１０６． ［２２］ ＢＲＥＩＭＡＮ Ｌ， ＦＲＩＥＤＭＡＮ Ｊ Ｈ， ＲＩＣＨＡＲＤ Ａ Ｓ， ｅｔ ａｌ． Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｒｅｇｒｅｓｓｉｏｎ ｔｒｅｅｓ［Ｍ］． Ｂｅｌｍｏｎｔ， ＣＡ： ｗａｄｓｗｏｒｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｇｒｏｕｐ， １９８４． ［２３］ ＳＥＴＩＯＮＯ Ｒ， ＬＩＵ Ｈ． Ｎｅｕｒａｌ⁃ｎｅｔｗｏｒｋ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｏｒ ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， １９９７， ８（３）： ６５４－６６２． ［２４］ＳＨＥＮ Ｋａｉｑｕａｎ， ＯＮＧ Ｃｈｏｎｇｊｉｎ， ＬＩ Ｘｉａｏｐｉｎｇ， ｅｔ ａｌ． Ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｖｉａ ｓｅｎｓｉｔｉｖｉｔｙ ａｎａｌｙｓｉｓ ｏｆ ＳＶＭ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｏｕｔｐｕｔｓ［Ｊ］． Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ， ２００８， ７０： １－２０． ［２５］ＰＥＲＫＩＮＳ Ｓ， ＬＡＣＫＥＲ Ｋ， ＴＨＥＩＬＥＲ Ｊ． Ｇｒａｆｔｉｎｇ： ｆａｓｔ， ｉｎ⁃ ｃｒｅｍｅｎｔａｌ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｂｙ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ｉｎ ｆｕｎｃｔｉｏｎ ｓｐａｃｅ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈ， ２００３ （３） ： １３３３－１３５６． ［２６］ＫＥＮＮＥＤＹ Ｊ， ＥＢＥＲＨＡＲＴ Ｒ． Ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ ［Ｃ］． ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ． Ｐｅｒｔｈ， Ａｕｓｔｒａｌｉａ， １９９５， ４： １９４２－１９４８． ［２７］ＥＢＥＲＨＡＲＴ Ｒ Ｃ， ＳＨＩ Ｙ Ｈ， ＫＥＮＮＥＤＹ Ｊ． Ｓｗａｒｍ Ｉｎｔｅｌｌｉ⁃ ｇｅｎｃｅ［Ｍ］． Ｍａｓｓａｃｈｕｓｅｔｔｓ： Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ， ２００１． ［２８］ＥＢＥＲＨＡＲＴ Ｒ Ｃ ， ＫＥＮＮＥＤＹ Ｊ． Ａ ｄｉｓｃｒｅｔｅ ｂｉｎａｒｙ ｖｅｒｓｉｏｎ ｏｆ ｔｈｅ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ａｌｇｏｒｉｔｈｍ ［ Ｊ］． ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｓｙｓｔｅｍｓ， １９９７， ５： ４１０４－４１０９． ［２９］ ＣＨＵＡＮＧ Ｌ Ｙ， ＣＨＡＮＧ Ｈ Ｗ， ＴＵ Ｃ Ｊ， ｅｔ ａｌ． Ｉｍｐｒｏｖｅｄ ｂｉｎａｒｙ ＰＳＯ ｆｏｒ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｕｓｉｎｇ ｇｅｎｅ ｅｘｐｒｅｓｓｉｏｎ ｄａｔａ［Ｊ］． Ｃｏｍｐｕｔａｔｉｏｎａｌ ｂｉｏｌｏｇｙ ＆ ｃｈｅｍｉｓｔｒｙ， ２００８， ３２（１）： ２９－３７． ［３０］ＣＨＵＡＮＧ Ｌ Ｙ， ＴＳＡＩ Ｓ Ｗ， ＹＡＮＧ Ｃ Ｈ． Ｉｍｐｒｏｖｅｄ ｂｉｎａｒｙ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ ｕｓｉｎｇ ｃａｔｆｉｓｈ ｅｆｆｅｃｔ ｆｏｒ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ［Ｊ］． Ｅｘｐｅｒｔ ｓｙｓｔｅｍｓ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１１， ３８ （１０）： １２６９９－１２７０７． ［３１］ ＷＡＮＧ Ｘｉａｎｇｙａｎｇ， ＹＡＮＧ Ｊｉｅ， ＴＥＮＧ Ｘｉａｏｌｏｎｇ， ｅｔ ａｌ． Ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｒｏｕｇｈ ｓｅｔｓ ａｎｄ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ ［ Ｊ ］． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ｌｅｔｔｅｒｓ， ２００７， ２８ （４）： ４５９－４７１． ［３２］ＣＥＲＶＡＮＴＥ Ｌ， ＸＵＥ Ｂ， ＺＨＡＮＧ Ｍ， ｅｔ ａｌ． Ｂｉｎａｒｙ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｓａｔｉｏｎ ｆｏｒ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ： ａ ｆｉｌｔｅｒ ｂａｓｅｄ ａｐｐｒｏａｃｈ［Ｊ］． Ｅｖｏｌｕｔｉｏｎａｒｙ ｃｏｍｐｕｔａｔｉｏｎ， ２０１２， ４１： １－８． ［３３ ］ ＬＩＵ Ｑｕａｎｊｉｎ， ＺＨＡＯ Ｚｈｉｍｉｎ， ＬＩ Ｙｉｎｇｘｉｎ． Ｅｎｓｅｍｂｌｅ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｎｅｉｇｈｂｏｒｈｏｏｄ ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ ＰＳＯ ａｌｇｏｒｉｔｈｍ［Ｊ］． Ａｃｔａ ｅｌｅｃｔｒｏｎｉｃａ ｓｉｎｉｃａ， ２０１６， ４４ （４）： ９９５－１００２． ［３４］ ＦＯＮＧ Ｓ， ＷＯＮＧ Ｒ， ＶＡＳＩＬＡＫＯＳ Ａ． Ａｃｃｅｌｅｒａｔｅｄ ＰＳＯ ｓｗａｒｍ ｓｅａｒｃｈ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｄａｔａ ｓｔｒｅａｍ ｍｉｎｉｎｇ ｂｉｇ ｄａｔａ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｓｅｒｖｉｃｅｓ ｃｏｍｐｕｔｉｎｇ， ２０１６， ９（１）： ３３－４５． ［３５］翟俊海， 刘博， 张素芳． 基于相对分类信息熵的进化特 征选择算法［Ｊ］． 模式识别与人工智能， ２０１６， ２９（８）： ６８２－６９０． ＺＨＡＩ Ｊｕｎｈａｉ， ＬＩＵ Ｂｏ， ＺＨＡＮＧ Ｓｕｆａｎｇ． Ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｖｉａ ｅｖｏｌｕｔｉｏｎａｒｙ ｃｏｍｐｕｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ｒｅｌａｔｉｖｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｅｎｔｒｏｐｙ ［ Ｊ］． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０１６， ２９（８）： ６８２－６９０． ［３６］ＳＨＩ Ｂ Ｙ， ＥＢＥＲＨＡＲＴ Ｒ． Ａ ｍｏｄｉｆｉｅｄ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉ⁃ ｍｉｚｅｒ［ Ｊ］． ＩＥＥＥ ｗｏｒｌｄ ｃｏｎｇｒｅｓｓ ｏｎ ｃｏｍｐｕｔａｔｉｏｎａｌ ｉｎｔｅｌｌｉ⁃ ｇｅｎｃｅ， １９９９， ６： ６９－７３． 作者简介： 翟俊海，男，１９６４ 年生，男，教授，中 国人工智能学会粗糙集与软计算专业 委员会委员，主要研究方向为机器学 习。 近几年主持或参与省部级以上项 目 １０ 余项，获河北省自然科学三等奖 １ 项，出版专著 ４ 部，发表论文 ７０ 余篇。 刘博，男，１９８９ 年生，硕士研究生， 主要研究方向为机器学习。 张素芳，女，１９６６ 年生，副教授，主 要研究方向为机器学习。 ·４０４· 智 能 系 统 学 报 第 １２ 卷