第7卷第6期 智能系统学报 Vol.7 No.6 2012年12月 CAAI Transactions on Intelligent Systems Dec.2012 D0I:10.3969/i.issn.16734785.201205025 网络出版t地址：htp://www.cnki.net/kcma/detail/23.1538.TP.20121116.1702.010.html 从Parzen窗核密度估计到 特征提取方法：新的研究视角 刘忠宝12，王士同 (1.江南大学数字媒体学院，江苏无锡214122：2.中北大学电子与计算机科学技术学院，山西太原030051) 摘要：当前主流特征提取方法大致有2种研究思路：1)从高维数据的几何性质出发，根据某种寻优准则得到基于 原始空间特征的一组特征数更少的新特征；2)从降维误差角度出发，保证降维前后数据所呈现的某种偏差达到最 小.试图从降维过程中数据分布特征的变化入手，基于广泛使用的Parzen窗核密度估计方法，来审视和揭示Parzen 窗估计与典型特征提取方法LPP、LDA和PCA之间的关系，从而说明这些特征提取方法可统一在Parzen窗框架下进 行研究，为特征提取方法的研究提供了一个新的视角. 关键词：特征提取；Parzen窗；密度估计；数据分布特征；新视角 中图分类号：TP392文献标志码：A文章编号：16734785(2012)060471-10 From Parzen window estimation to feature extraction:a new perspective LIU Zhongbao2,WANG Shitong' (1.School of Digital Media,Jiangnan University,Wuxi 214122,China;2.School of Electronics and Computer Science Technology, North University of China,Taiyuan 030051,China) Abstract:Researches on current feature extraction methods are mainly based on two ways.One originates from geo- metric properties of high-dimensional datasets and attempt to extract fewer features from the original data space ac- cording to a certain criterion.The other originates from dimension reduction deviation and try to make the deviation between data before and after dimension reduction be as small as possible.However,there exists almost no study a- bout them from the perspective of the scatter change of a dataset.Based on Parzen window density estimator,we thoroughly revisit the relevant feature extraction methods from a new perspective and the relationships between Parzen window and classical feature extraction methods,ie length of perpendiculars(LPP),linear discriminant analysis (LDA) and principal component analysis(PCA)are built in this paper.Therefore,these feature extraction methods can be re- searched in the same Parzen window,which provides a new perspective for the research of feature extraction. Keywords:feature extraction;Parzen window;density estimation;data distribution characteristics;new perspec- tive 在实际应用中常常遇到高维数据，如多媒体数 过将原始特征空间低秩近似，保证降维后的特征非 据、文本数据、生物数据等.尽管高维数据比低维数 负；主成分分析(principal component analysis, 据拥有更多的信息量，但在实际操作中非常不便.一 PCA)[21通过对原始特征空间方差的研究得到一组 种有效的解决方法就是对其进行特征提取.所谓特 正交的主成分；奇异值分解(singular value decompo- 征提取是指原始特征空间根据某种准则变换得到低 iion,SVD)[3]通过考察奇异值的贡献率实现降维； 维投影空间的过程.近年来，研究人员提出众多特征 独立成分分析(independent component analysis, 提取方法(feature extraction methods,FEM):非负矩 ICA)[4同时利用原始特征空间的二阶和高阶统计 阵分解(non-negative matrix factorization,NMF)l通 信息，进一步提高了PCA的降维效率；线性判别分 析((linear discriminant analysis,LDA)[5通过最大化 收稿日期：201205-14.网络出版日期：2012-11-16. 类间离散度和类内离散度的广义Rayleigh熵实现特 基金项目：国家自然科学基金资助项目(61170122,61272210). 通信作者：刘忠宝.E-mail:liu_zhongbao@hotmail.com. 征变换；多维缩放（multi-dimensional scaling