第10卷第2期 智能系统学报 Vol.10 No.2 2015年4月 CAAI Transactions on Intelligent Systems Apr.2015 D0:10.3969/j.issn.1673-4785.201405063 网络出版地址：http://www.enki..net/kcms/detail/23.1538.TP.20150326.1017.005.html 一种基于支持向量数据描述的特征选择算法 曹晋2，张莉2，李凡长12 (1.苏州大学计算机科学与技术学院，江苏苏州215006：2.苏州大学计算机信息处理技术省重点实验室，江苏苏州215006) 摘要：已有基于支持向量数据描述的特征选择方法计算量较大，导致特征选择的时间过长。针对此问题，提出了 一种新的基于支持向量数据描述的特征选择算法。新方法的特征选择是通过超球体球心方向上的能量大小来决定 且采用了递归特征消除方式来逐渐剔除掉冗余特征。在Leukemia数据集上的实验结果表明，新方法能够进行快速 的特征选择，且所选择的特征对后续的分类是有效的。 关键词：支持向量数据描述：特征选择：递归计算：递归特征消除：癌症识别：基因表达 中图分类号：TP391文献标志码：A文章编号：1673-4785(2015)02-0215-06 中文引用格式：曹晋，张莉，李凡长.一种基于支持向量数据描述的特征选择算法[J].智能系统学报，2015,10(2)：215-220. 英文引用格式：CAO Jin,ZHANG Li,LI Fanzhang.A noval support vector data description-based feature selection method[J]. CAAI Transactions on Intelligent Systems,2015,10(2):215-220. A noval support vector data description-based feature selection method CAO Jin'.2,ZHANG Li'.2,LI Fanzhang'.2 (1.Department of Computer Science and Technology,Soochow University,Suzhou 215006,China;2.Provincial Key Laboratory for Computer Information Processing Technology,Soochow University,Suzhou 215006,China) Abstract:There have been proposed feature selection methods based on support vector data description(SVDD), or SVDD-radius-RFE and SVDD-dual-objective-RFE.These methods are time consuming due to the high computa- tional complexity.To remedy it,a support vector data description-based feature selection method is proposed,ie SVDD-RFE.In this method,feature elimination depends on the energy of directions in the center of hypersphere.In addition,a scheme of recursive feature elimination (RFE)is introduced to iteratively remove irrelevant features. Experimental results on the Leukemia dataset showed that this method has fast speed for feature selection,and the selected features are efficient for subsequent classification tasks. Keywords:support vector data description;feature selection;recursive computation;recursive feature elimination; cancer recognition;gene expression 特征选择是机器学习、模式识别、医疗诊断等领 征具有更强的分辨率。本文研究重点是基于支持向 域的一个研究热点。特征选择是一种重要的数据处 量机(support vector machine.,SVM)的特征选择方 理方法，从很多输人特征集中选择一个重要特征的 法，也就是把SVM引人到特征选择过程中。基于 子集并且移除不相关或不重要的特征，使留下的特 SVM的特征选择算法分为3类：基于SVM的Wrap per特征选择算法、基于SVM的Embedded特征选 收稿日期：2014-06-04.网络出版日期：2015-03-26. 基金项目：国家自然科学基金资助项目(61373093,61033013)：江苏省择算法和基于SVM的Filter与Wrapper的混合特征 自然科学基金资助项目(BK2011284,BK201222725, BK20140008):江苏省高校自然科学研究基金资助项目 选择算法。Weston等提出的基于SVM的Wrapper (13KJA520001). 特征选择算法是去寻找能最小化泛化误差边界的特 通信作者：曹晋.E-mail:20134527007@s.suda.cd血.cm.第 １０ 卷第 ２ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．２ ２０１５ 年 ４ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｐｒ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０５０６３ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１５０３２６．１０１７．００５．ｈｔｍｌ 一种基于支持向量数据描述的特征选择算法 曹晋１，２ ， 张莉１，２ ， 李凡长１，２ （１．苏州大学 计算机科学与技术学院， 江苏 苏州 ２１５００６； ２．苏州大学 计算机信息处理技术省重点实验室，江苏 苏州 ２１５００６） 摘 要：已有基于支持向量数据描述的特征选择方法计算量较大，导致特征选择的时间过长。 针对此问题，提出了 一种新的基于支持向量数据描述的特征选择算法。 新方法的特征选择是通过超球体球心方向上的能量大小来决定 且采用了递归特征消除方式来逐渐剔除掉冗余特征。 在 Ｌｅｕｋｅｍｉａ 数据集上的实验结果表明，新方法能够进行快速 的特征选择，且所选择的特征对后续的分类是有效的。 关键词：支持向量数据描述；特征选择；递归计算；递归特征消除；癌症识别；基因表达 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０２⁃０２１５⁃０６ 中文引用格式：曹晋， 张莉， 李凡长． 一种基于支持向量数据描述的特征选择算法［Ｊ］． 智能系统学报， ２０１５， １０（２）： ２１５⁃２２０． 英文引用格式：ＣＡＯ Ｊｉｎ， ＺＨＡＮＧ Ｌｉ， ＬＩ Ｆａｎｚｈａｎｇ． Ａ ｎｏｖａｌ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｄａｔａ ｄｅｓｃｒｉｐｔｉｏｎ⁃ｂａｓｅｄ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（２）： ２１５⁃２２０． Ａ ｎｏｖａｌ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｄａｔａ ｄｅｓｃｒｉｐｔｉｏｎ⁃ｂａｓｅｄ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ＣＡＯ Ｊｉｎ １， ２ ， ＺＨＡＮＧ Ｌｉ １， ２ ， ＬＩ Ｆａｎｚｈａｎｇ １， ２ （１． Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｓｏｏｃｈｏｗ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｕｚｈｏｕ ２１５００６， Ｃｈｉｎａ； ２． Ｐｒｏｖｉｎｃｉａｌ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ， Ｓｏｏｃｈｏｗ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｕｚｈｏｕ ２１５００６， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅｒｅ ｈａｖｅ ｂｅｅｎ ｐｒｏｐｏｓｅｄ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄｓ ｂａｓｅｄ ｏｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｄａｔａ ｄｅｓｃｒｉｐｔｉｏｎ （ＳＶＤＤ）， ｏｒ ＳＶＤＤ⁃ｒａｄｉｕｓ⁃ＲＦＥ ａｎｄ ＳＶＤＤ⁃ｄｕａｌ⁃ｏｂｊｅｃｔｉｖｅ⁃ＲＦＥ． Ｔｈｅｓｅ ｍｅｔｈｏｄｓ ａｒｅ ｔｉｍｅ ｃｏｎｓｕｍｉｎｇ ｄｕｅ ｔｏ ｔｈｅ ｈｉｇｈ ｃｏｍｐｕｔａ⁃ ｔｉｏｎａｌ ｃｏｍｐｌｅｘｉｔｙ． Ｔｏ ｒｅｍｅｄｙ ｉｔ， ａ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｄａｔａ ｄｅｓｃｒｉｐｔｉｏｎ⁃ｂａｓｅｄ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ， ｉｅ ＳＶＤＤ⁃ＲＦＥ． Ｉｎ ｔｈｉｓ ｍｅｔｈｏｄ， ｆｅａｔｕｒｅ ｅｌｉｍｉｎａｔｉｏｎ ｄｅｐｅｎｄｓ ｏｎ ｔｈｅ ｅｎｅｒｇｙ ｏｆ ｄｉｒｅｃｔｉｏｎｓ ｉｎ ｔｈｅ ｃｅｎｔｅｒ ｏｆ ｈｙｐｅｒｓｐｈｅｒｅ． Ｉｎ ａｄｄｉｔｉｏｎ， ａ ｓｃｈｅｍｅ ｏｆ ｒｅｃｕｒｓｉｖｅ ｆｅａｔｕｒｅ ｅｌｉｍｉｎａｔｉｏｎ （ＲＦＥ） ｉｓ ｉｎｔｒｏｄｕｃｅｄ ｔｏ ｉｔｅｒａｔｉｖｅｌｙ ｒｅｍｏｖｅ ｉｒｒｅｌｅｖａｎｔ ｆｅａｔｕｒｅｓ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｏｎ ｔｈｅ Ｌｅｕｋｅｍｉａ ｄａｔａｓｅｔ ｓｈｏｗｅｄ ｔｈａｔ ｔｈｉｓ ｍｅｔｈｏｄ ｈａｓ ｆａｓｔ ｓｐｅｅｄ ｆｏｒ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ， ａｎｄ ｔｈｅ ｓｅｌｅｃｔｅｄ ｆｅａｔｕｒｅｓ ａｒｅ ｅｆｆｉｃｉｅｎｔ ｆｏｒ ｓｕｂｓｅｑｕｅｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔａｓｋｓ． Ｋｅｙｗｏｒｄｓ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｄａｔａ ｄｅｓｃｒｉｐｔｉｏｎ； ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ； ｒｅｃｕｒｓｉｖｅ ｃｏｍｐｕｔａｔｉｏｎ； ｒｅｃｕｒｓｉｖｅ ｆｅａｔｕｒｅ ｅｌｉｍｉｎａｔｉｏｎ； ｃａｎｃｅｒ ｒｅｃｏｇｎｉｔｉｏｎ； ｇｅｎｅ ｅｘｐｒｅｓｓｉｏｎ 收稿日期：２０１４⁃０６⁃０４． 网络出版日期：２０１５⁃０３⁃２６． 基金项目：国家自然科学基金资助项目（ ６１３７３０９３， ６１０３３０１３）；江苏省 自 然 科 学 基 金 资 助 项 目 （ ＢＫ２０１１２８４， ＢＫ２０１２２２７２５， ＢＫ２０１４０００８）；江 苏 省 高 校 自 然 科 学 研 究 基 金 资 助 项 目 （１３ＫＪＡ５２０００１）． 通信作者：曹晋．Ｅ⁃ｍａｉｌ： ２０１３４５２７００７＠ ｓｔｕ．ｓｕｄａ．ｅｄｕ．ｃｎ． 特征选择是机器学习、模式识别、医疗诊断等领 域的一个研究热点。 特征选择是一种重要的数据处 理方法，从很多输入特征集中选择一个重要特征的 子集并且移除不相关或不重要的特征，使留下的特 征具有更强的分辨率。 本文研究重点是基于支持向 量机（ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ， ＳＶＭ） 的特征选择方 法，也就是把 ＳＶＭ 引入到特征选择过程中。 基于 ＳＶＭ 的特征选择算法分为 ３ 类：基于 ＳＶＭ 的 Ｗｒａｐ⁃ ｐｅｒ 特征选择算法、基于 ＳＶＭ 的 Ｅｍｂｅｄｄｅｄ 特征选 择算法和基于 ＳＶＭ 的 Ｆｉｌｔｅｒ 与 Ｗｒａｐｐｅｒ 的混合特征 选择算法。 Ｗｅｓｔｏｎ 等提出的基于 ＳＶＭ 的 Ｗｒａｐｐｅｒ 特征选择算法是去寻找能最小化泛化误差边界的特