第12卷第4期 智能系统学报 Vol.12 No.4 2017年8月 CAAI Transactions on Intelligent Systems Aug.2017 D0I:10.11992/is.201609008 网络出版地址：http://kns.cmki.net/kcms/detail/23.1538.tp.20170407.1758.016.html 基于特征相关的谱特征选择算法 胡敏杰，林耀进，杨红和，郑荔平，傅为 (闽南师范大学计算机学院，福建漳州363000) 摘要：针对传统的谱特征选择算法只考虑单特征的重要性，将特征之间的统计相关性引人到传统谱分析中，构造 了基于特征相关的谱特征选择模型。首先利用Laplacian Score找出最核心的一个特征作为已选特征，然后设计了新 的特征组区分能力目标函数，采用前向贪心搜索策略依次评价候选特征，并选中使目标函数最小的候选特征加入到 已选特征。该算法不仅考虑了特征重要性，而且充分考虑了特征之间的关联性，最后在2个不同分类器和8个UC 数据集上的实验结果表明：该算法不仅提高了特征子集的分类性能，而且获得较高的分类精度下所需特征子集的数 量较少。 关键词：特征选择：谱特征选择；谱图理论：特征关联；区分能力；索搜策略；拉普拉斯；分类精度 中图分类号：TP18文献标志码：A文章编号：1673-4785(2017)04-0519-07 中文引用格式：胡敏杰，林耀进，杨红和，等.基于特征相关的谱特征选择算法[J].智能系统学报，2017,12(4)：519-525. 英文引用格式：HU Minjie,LIN Yaojin,YANG Honghe,etal.Spectral feature selection based on feature correlation[J].CAAI transactions on intelligent systems,2017,12(4):519-525. Spectral feature selection based on feature correlation HU Minjie,LIN Yaojin,YANG Honghe,ZHENG Liping,FU Wei (School of Computer Science,Minnan Normal University,Zhangzhou 363000,China) Abstract:In the traditional spectrum feature selection algorithm,only the importance of single features are considered.In this paper,we introduce the statistical correlation between features into traditional spectrum analysis and construct a spectral feature selection model based on feature correlation.First,the proposed model utilizes the Laplacian Score to identify the most central feature as the selected feature,then designs a new feature group discernibility objective function,and applies the forward greedy search strategy to sequentially evaluate the candidate features.Then,the candidate feature with the minimum objective function is added to the selected features.The algorithm considers both the importance of feature as well as the correlations between features.We conducted experiments on two different classifiers and eight UCI datasets,the results of which show that the algorithm effectively improves the classification performance of the feature subset and also obtains a small number of feature subsets with high classification precision. Keywords:feature selection;spectral feature selection;spectral graph theory;feature relevance;discernibility; search strategy;Laplacian score:;classification performance 特征选择是指在原始特征空间中选择能让给 和不显著改变类分布情况下选择一个重要特征子 定任务的评价准则达到最优的特征子集的过程，是 集并且移除不相关或不重要的特征，使留下的特征 模式识别、机器学习等领域中数据预处理的关键步 具有更强的分辨率。其中评价准则是特征选择 骤之一【1]。其主要目标是在不显著降低分类精度 算法中的关键步骤，国内外研究者已设计了多种评 价准则，包括距离度量[)、信息度量[6和谱图理 收稿日期：2016-09-08.网络出版日期：2017-04-07 论[7-剧等方法。由于基于谱图理论的特征选择模型 基金项目：国家自然科学基金项目(61303131,61379021)：福建省教 有厅科技项目UA14192). 的可理解性及其完备的数学理论，受到了广泛的 通信作者：胡敏杰.E-mail:zzhuminjie@sina.com, 关注[8-]。１）； 第 １２ 卷第 ４ 期 智 能 系 统 学 报 Ｖｏｌ．１２ №．４ ２０１７ 年 ８ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｕｇ． ２０１ 通信作者：胡敏杰.Ｅ-ｍａｉｌ：ｚｚｈｕｍｉｎｊｉｅ＠ ｓｉｎａ．ｃｏｍ． ７ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０９００８ 网络出版地址：ｈｔｔｐ： ／ ／ ｋｎｓ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１７０４０７．１７５８．０１６．ｈｔｍｌ 基于特征相关的谱特征选择算法 胡敏杰，林耀进，杨红和，郑荔平，傅为 （闽南师范大学 计算机学院，福建 漳州 ３６３０００） 摘 要：针对传统的谱特征选择算法只考虑单特征的重要性，将特征之间的统计相关性引入到传统谱分析中，构造 了基于特征相关的谱特征选择模型。 首先利用 Ｌａｐｌａｃｉａｎ Ｓｃｏｒｅ 找出最核心的一个特征作为已选特征，然后设计了新 的特征组区分能力目标函数，采用前向贪心搜索策略依次评价候选特征，并选中使目标函数最小的候选特征加入到 已选特征。 该算法不仅考虑了特征重要性，而且充分考虑了特征之间的关联性，最后在 ２ 个不同分类器和 ８ 个 ＵＣＩ 数据集上的实验结果表明：该算法不仅提高了特征子集的分类性能，而且获得较高的分类精度下所需特征子集的数 量较少。 关键词：特征选择；谱特征选择；谱图理论；特征关联；区分能力；索搜策略；拉普拉斯；分类精度 中图分类号：ＴＰ１８ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１７）０４－０５１９－０７ 中文引用格式：胡敏杰，林耀进，杨红和，等．基于特征相关的谱特征选择算法［Ｊ］． 智能系统学报， ２０１７， １２（４）： ５１９－５２５． 英文引用格式：ＨＵ Ｍｉｎｊｉｅ， ＬＩＮ Ｙａｏｊｉｎ， ＹＡＮＧ Ｈｏｎｇｈｅ， ｅｔ ａｌ． Ｓｐｅｃｔｒａｌ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｅａｔｕｒｅ ｃｏｒｒｅｌａｔｉｏｎ［ Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１７， １２（４）： ５１９－５２５． Ｓｐｅｃｔｒａｌ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｅａｔｕｒｅ ｃｏｒｒｅｌａｔｉｏｎ ＨＵ Ｍｉｎｊｉｅ， ＬＩＮ Ｙａｏｊｉｎ， ＹＡＮＧ Ｈｏｎｇｈｅ， ＺＨＥＮＧ Ｌｉｐｉｎｇ， ＦＵ Ｗｅｉ （Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， Ｍｉｎｎａｎ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ， Ｚｈａｎｇｚｈｏｕ ３６３０００， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｓｐｅｃｔｒｕｍ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ， ｏｎｌｙ ｔｈｅ ｉｍｐｏｒｔａｎｃｅ ｏｆ ｓｉｎｇｌｅ ｆｅａｔｕｒｅｓ ａｒｅ ｃｏｎｓｉｄｅｒｅｄ． Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｗｅ ｉｎｔｒｏｄｕｃｅ ｔｈｅ ｓｔａｔｉｓｔｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ｂｅｔｗｅｅｎ ｆｅａｔｕｒｅｓ ｉｎｔｏ ｔｒａｄｉｔｉｏｎａｌ ｓｐｅｃｔｒｕｍ ａｎａｌｙｓｉｓ ａｎｄ ｃｏｎｓｔｒｕｃｔ ａ ｓｐｅｃｔｒａｌ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｆｅａｔｕｒｅ ｃｏｒｒｅｌａｔｉｏｎ． Ｆｉｒｓｔ， ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｏｄｅｌ ｕｔｉｌｉｚｅｓ ｔｈｅ Ｌａｐｌａｃｉａｎ Ｓｃｏｒｅ ｔｏ ｉｄｅｎｔｉｆｙ ｔｈｅ ｍｏｓｔ ｃｅｎｔｒａｌ ｆｅａｔｕｒｅ ａｓ ｔｈｅ ｓｅｌｅｃｔｅｄ ｆｅａｔｕｒｅ， ｔｈｅｎ ｄｅｓｉｇｎｓ ａ ｎｅｗ ｆｅａｔｕｒｅ ｇｒｏｕｐ ｄｉｓｃｅｒｎｉｂｉｌｉｔｙ ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ， ａｎｄ ａｐｐｌｉｅｓ ｔｈｅ ｆｏｒｗａｒｄ ｇｒｅｅｄｙ ｓｅａｒｃｈ ｓｔｒａｔｅｇｙ ｔｏ ｓｅｑｕｅｎｔｉａｌｌｙ ｅｖａｌｕａｔｅ ｔｈｅ ｃａｎｄｉｄａｔｅ ｆｅａｔｕｒｅｓ． Ｔｈｅｎ， ｔｈｅ ｃａｎｄｉｄａｔｅ ｆｅａｔｕｒｅ ｗｉｔｈ ｔｈｅ ｍｉｎｉｍｕｍ ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ ｉｓ ａｄｄｅｄ ｔｏ ｔｈｅ ｓｅｌｅｃｔｅｄ ｆｅａｔｕｒｅｓ． Ｔｈｅ ａｌｇｏｒｉｔｈｍ ｃｏｎｓｉｄｅｒｓ ｂｏｔｈ ｔｈｅ ｉｍｐｏｒｔａｎｃｅ ｏｆ ｆｅａｔｕｒｅ ａｓ ｗｅｌｌ ａｓ ｔｈｅ ｃｏｒｒｅｌａｔｉｏｎｓ ｂｅｔｗｅｅｎ ｆｅａｔｕｒｅｓ． Ｗｅ ｃｏｎｄｕｃｔｅｄ ｅｘｐｅｒｉｍｅｎｔｓ ｏｎ ｔｗｏ ｄｉｆｆｅｒｅｎｔ ｃｌａｓｓｉｆｉｅｒｓ ａｎｄ ｅｉｇｈｔ ＵＣＩ ｄａｔａｓｅｔｓ， ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ ｗｈｉｃｈ ｓｈｏｗ ｔｈａｔ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｅｆｆｅｃｔｉｖｅｌｙ ｉｍｐｒｏｖｅｓ ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅ ｆｅａｔｕｒｅ ｓｕｂｓｅｔ ａｎｄ ａｌｓｏ ｏｂｔａｉｎｓ ａ ｓｍａｌｌ ｎｕｍｂｅｒ ｏｆ ｆｅａｔｕｒｅ ｓｕｂｓｅｔｓ ｗｉｔｈ ｈｉｇｈ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐｒｅｃｉｓｉｏｎ． Ｋｅｙｗｏｒｄｓ： ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ； ｓｐｅｃｔｒａｌ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ； ｓｐｅｃｔｒａｌ ｇｒａｐｈ ｔｈｅｏｒｙ； ｆｅａｔｕｒｅ ｒｅｌｅｖａｎｃｅ； ｄｉｓｃｅｒｎｉｂｉｌｉｔｙ； ｓｅａｒｃｈ ｓｔｒａｔｅｇｙ； Ｌａｐｌａｃｉａｎ ｓｃｏｒｅ；ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ 收稿日期：２０１６－０９－０８． 网络出版日期：２ ４－０７． 基金项目：国家自然科学基金项目（ ６１３０３１ ， ３７９０２ － ６ ０ １ ０ ３ １ １ ７ 特征选择是指在原始特征空间中选择能让给 定任务的评价准则达到最优的特征子集的过程，是 模式识别、机器学习等领域中数据预处理的关键步 骤之一［１－３］ 。 其主要目标是在不显著降低分类精度 和不显著改变类分布情况下选择一个重要特征子 集并且移除不相关或不重要的特征，使留下的特征 具有更强的分辨率［４］ 。 其中评价准则是特征选择 算法中的关键步骤，国内外研究者已设计了多种评 价准则，包括距离度量［５］ 、 信息度量［６］ 和谱图理 论［７－８］等方法。 由于基于谱图理论的特征选择模型 的可理解性及其完备的数学理论，受到了广泛的 关注［８－９］ 。 育厅科技项目(JA14192). 福建省教