·600· 智能系统学报 第12卷 systems with applications,2015,42(22):8520-8532 [17]KRASKOV A,STOGBAUER H,GRASSBERGER P.Estimating [8]SHANNON C E.A mathematical theory of communication mutual information[J].Physical review E,2004,69(6): []ACM sigmobile mobile computing and communications 1-16 review,2001,5(1):3-55. [18]STOGBAUER H,KRASKOV A.ASTAKHOV S A,et al. [9]BATTITI R.Using mutual information for selecting features Least-pendent-component analysis based on mutual in supervised neural net learning[J].IEEE transactions on information[J].Physical review E,2004,70(6):1-17. neural networks,1994,5(4):537-550. [19]霍军周，王亚杰，欧阳湘宇，等.基于BP神经网络的 [10]PENG H,LONG F,DING C.Feature selection based on TBM主轴承载荷谱预测[J].哈尔滨工程大学学报， mutual information criteria of max-dependency,max-relevance, 2015,36(7):965-969. and min-redundancy[J.IEEE transactions on pattern analysis HUO Junzhou,WANG Yajie,OUYANG Xiangyu,et al.Load and machine intelligence,2005,27(8):1226-1238. spectrum prediction of the main drive bearing of a tunnel [11]FLEURET F.Fast binary feature selection with conditional boring machine based on BP neural networks[]].Joumal of mutual information[J].Journal of machine learning research, Harbin Engineering University,2015,36(7):965-969. 2004.5:1531-1555. [20]乔俊飞，周红标.基于自组织模糊神经网络的出水总磷 [12]YANG HH,MOODY J E.Data visualization and feature 预测[J].控制理论与应用.2017,34(2)：224-232. selection:new algorithms for nongaussian data[C]/Advances QIAO Junfei,ZHOU Hongbiao.Prediction of effluent total in Neural Information Processing Systems.Cambridge, phosphorus based on self-organizing fuzzy neural network[] Britain,1999:687-693. Control theory and applications,2017,34(2):224-232. [13]BROWN G.A new perspective for information theoretic 作者简介： feature selection[C]//Proceedings of the 12th International 周红标，男，1980年生，讲师，博土 Conference on Artificial Intelligence and Statistics.Florida, 研究生，主要研究方向为神经网络分析 USA,2009:49-56. 与设计。发表论文十余篇，其中被 [14]韩敏，刘晓欣.基于互信息的分步式输入变量选择多元序 检索6篇。 列预测研究[J刀.自动化学报，2012,38(6)：999-1005. HAN Min,LIU Xiaoxin.Stepwise input variable selection based on mutual information for multivariate forecasting [J].ACTA automatica sinica,2012,38(6):999-1005. 乔俊飞，男.1968年生，教授，博士 [15 BEIRLANT J,DUDEWICZ E J,GYORFI L,et al. 生导师，主要研究方向为污水处理过 Nonparametric entropy estimation:an overview[.Intemational 程智能优化控制。获教育部科技进步 journal of mathematical and statistical sciences,1997, 奖一等奖和北京市科学进步奖三等奖 6(1):17-39. 各1项，发表论文近100篇，其中被SC [16]MOON Y I.RAJAGOPALAN B.LALL U.Estimation of mutual information using kemel density estimators[J]. I收录18篇，EI收录60篇，获发明专利20项。 Physical review E,1995,52(3):2318-2321.生导师， 乔俊飞，男，１９６８ 年生，教授，博士 主要研究方向为污水处理过 ｓｙｓｔｅｍｓ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１５， ４２（２２）： ８５２０－８５３２． ［８］ ＳＨＡＮＮＯＮ Ｃ Ｅ． Ａ ｍａｔｈｅｍａｔｉｃａｌ ｔｈｅｏｒｙ ｏｆ ｃｏｍｍｕｎｉｃａｔｉｏｎ ［Ｊ］． ＡＣＭ ｓｉｇｍｏｂｉｌｅ ｍｏｂｉｌｅ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｒｅｖｉｅｗ， ２００１， ５（１）： ３－５５． ［９］ＢＡＴＴＩＴＩ Ｒ． Ｕｓｉｎｇ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ ｓｅｌｅｃｔｉｎｇ ｆｅａｔｕｒｅｓ ｉｎ ｓｕｐｅｒｖｉｓｅｄ ｎｅｕｒａｌ ｎｅｔ ｌｅａｒｎｉｎｇ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， １９９４， ５（４）： ５３７－５５０． ［１０］ＰＥＮＧ Ｈ， ＬＯＮＧ Ｆ， ＤＩＮＧ Ｃ． Ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｃｒｉｔｅｒｉａ ｏｆ ｍａｘ⁃ｄｅｐｅｎｄｅｎｃｙ， ｍａｘ⁃ｒｅｌｅｖａｎｃｅ， ａｎｄ ｍｉｎ⁃ｒｅｄｕｎｄａｎｃｙ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００５， ２７（８）： １２２６－１２３８． ［１１］ＦＬＥＵＲＥＴ Ｆ． Ｆａｓｔ ｂｉｎａｒｙ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｗｉｔｈ ｃｏｎｄｉｔｉｏｎａｌ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈ， ２００４， ５： １５３１－１５５５． ［ １２］ ＹＡＮＧ Ｈ Ｈ， ＭＯＯＤＹ Ｊ Ｅ． Ｄａｔａ ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ： ｎｅｗ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｎｏｎｇａｕｓｓｉａｎ ｄａｔａ［Ｃ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｃａｍｂｒｉｄｇｅ， Ｂｒｉｔａｉｎ， １９９９： ６８７－６９３． ［１３］ ＢＲＯＷＮ Ｇ． Ａ ｎｅｗ ｐｅｒｓｐｅｃｔｉｖｅ ｆｏｒ ｉｎｆｏｒｍａｔｉｏｎ ｔｈｅｏｒｅｔｉｃ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ． Ｆｌｏｒｉｄａ， ＵＳＡ， ２００９： ４９－５６． ［１４］韩敏， 刘晓欣． 基于互信息的分步式输入变量选择多元序 列预测研究［Ｊ］． 自动化学报， ２０１２， ３８（６）： ９９９－１００５． ＨＡＮ Ｍｉｎ， ＬＩＵ Ｘｉａｏｘｉｎ． Ｓｔｅｐｗｉｓｅ ｉｎｐｕｔ ｖａｒｉａｂｌｅ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ ｍｕｌｔｉｖａｒｉａｔｅ ｆｏｒｅｃａｓｔｉｎｇ ［Ｊ］． ＡＣＴＡ ａｕｔｏｍａｔｉｃａ ｓｉｎｉｃａ， ２０１２， ３８（６）： ９９９－１００５． ［ １５ ］ ＢＥＩＲＬＡＮＴ Ｊ， ＤＵＤＥＷＩＣＺ Ｅ Ｊ， ＧＹÖＲＦＩ Ｌ， ｅｔ ａｌ． Ｎｏｎｐａｒａｍｅｔｒｉｃ ｅｎｔｒｏｐｙ ｅｓｔｉｍａｔｉｏｎ： ａｎ ｏｖｅｒｖｉｅｗ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｍａｔｈｅｍａｔｉｃａｌ ａｎｄ ｓｔａｔｉｓｔｉｃａｌ ｓｃｉｅｎｃｅｓ， １９９７， ６（１）： １７－３９． ［１６］ ＭＯＯＮ Ｙ Ｉ， ＲＡＪＡＧＯＰＡＬＡＮ Ｂ， ＬＡＬＬ Ｕ． Ｅｓｔｉｍａｔｉｏｎ ｏｆ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｕｓｉｎｇ ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｏｒｓ ［ Ｊ］． Ｐｈｙｓｉｃａｌ ｒｅｖｉｅｗ Ｅ， １９９５， ５２（３）： ２３１８－２３２１． ［１７］ＫＲＡＳＫＯＶ Ａ， ＳＴÖＧＢＡＵＥＲ Ｈ， ＧＲＡＳＳＢＥＲＧＥＲ Ｐ． Ｅｓｔｉｍａｔｉｎｇ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ［Ｊ］． Ｐｈｙｓｉｃａｌ ｒｅｖｉｅｗ Ｅ， ２００４， ６９（６）： １－１６． ［１８］ＳＴÖＧＢＡＵＥＲ Ｈ， ＫＲＡＳＫＯＶ Ａ， ＡＳＴＡＫＨＯＶ Ｓ Ａ， ｅｔ ａｌ． Ｌｅａｓｔ⁃ｐｅｎｄｅｎｔ⁃ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ ｂａｓｅｄ ｏｎ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ［Ｊ］． Ｐｈｙｓｉｃａｌ ｒｅｖｉｅｗ Ｅ， ２００４， ７０（６）： １－１７． ［１９］霍军周， 王亚杰， 欧阳湘宇， 等． 基于 ＢＰ 神经网络的 ＴＢＭ 主轴承载荷谱预测［ Ｊ］． 哈尔滨工程大学学报， ２０１５， ３６（７）： ９６５－９６９． ＨＵＯ Ｊｕｎｚｈｏｕ， ＷＡＮＧ Ｙａｊｉｅ， ＯＵＹＡＮＧ Ｘｉａｎｇｙｕ， ｅｔ ａｌ．Ｌｏａｄ ｓｐｅｃｔｒｕｍ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｔｈｅ ｍａｉｎ ｄｒｉｖｅ ｂｅａｒｉｎｇ ｏｆ ａ ｔｕｎｎｅｌ ｂｏｒｉｎｇ ｍａｃｈｉｎｅ ｂａｓｅｄ ｏｎ ＢＰ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ， ２０１５， ３６（７）： ９６５－９６９． ［２０］乔俊飞， 周红标． 基于自组织模糊神经网络的出水总磷 预测［Ｊ］． 控制理论与应用， ２０１７， ３４（２）： ２２４－２３２． ＱＩＡＯ Ｊｕｎｆｅｉ， ＺＨＯＵ Ｈｏｎｇｂｉａｏ． Ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｅｆｆｌｕｅｎｔ ｔｏｔａｌ ｐｈｏｓｐｈｏｒｕｓ ｂａｓｅｄ ｏｎ ｓｅｌｆ⁃ｏｒｇａｎｉｚｉｎｇ ｆｕｚｚｙ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ［Ｊ］． Ｃｏｎｔｒｏｌ ｔｈｅｏｒｙ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１７， ３４（２）： ２２４－２３２． 作者简介： 周红标，男，１９８０ 年生，讲师，博士 研究生，主要研究方向为神经网络分析 与设计。 发表论文十余篇，其中被 ＥＩ 检索 ６ 篇。 程智能优化控制。 获教育部科技进步 ６００· 奖一等奖和北京市科学进步奖三等奖 Ｉ 收录 １８ 篇，ＥＩ 收录６０ 篇，获发明专利 ２０ 项。 · 智 能 系 统 学 报 第 １２ 卷 各 １ 项，发表论文近 １００ 篇，其中被 ＳＣ