第6期 刘忠宝，等：从Parzen窗核密度估计到特征提取方法：新的研究视角 ·475· WSW J(W)=m阳xwSW 21x-x2 N- 式中： 82 ≤1- SB=(u2-1)(2-u1)T, 可得 S=(-u)(x-u4)r+ ∑NIE-x:I2 台 Ps(x)≤1- (16) 82 ∑(x:-w2)(x-42)月 为了表示方便，取式(16)的上界并求导可得 上述最优化问题可转化为求解S需S:的特征值 问题.同理，对于c(c>2)类问题，类间离散度矩阵 需=后-，=12 和类内离散度矩阵的定义分别同式(9)和式(10). 为了使降维后的各类样本尽可能隔开，因此投 3.2 Parzen窗与LDA的关系 本节从概率密度角度讨论Parzen窗与LDA的 影方向W应满足使得各类需最大去掉与6有关 关系.Epanechnikov核函数[9是在最小均方差意义 的常数项，则有 下最优的核函数之一.受Epanechnikov核函数的启 max IW'S,WL. (17) 发，采用如下核函数进行密度估计： 式中：Sa=含Nx-I 2x)=1-合*-出2合x-41 由于式(17)中1与W无关，则有 ≤1. 8 6 max WiSeW, (18 (13) 综合式(15)和式(18)可得 为了计算散度的变化速度，对式(13)求导可得 W SeW 器=最1-，=12… J(W)=max ws.W 3.3 PCA 针对某类数据降维，则8已知.当x∈{训练样 3.3.1几何解释 1 本时，则=N,i=12,…6. 从几何角度看，PCA通过计算方差来衡量样本 包含信息量的大小.PCA称方差较大的分量为主成 为了保证降维前后数据分布的稳定性，因此投 分，主成分反映了原始变量的主要信息， 影方向W应满足使得职最小.去掉与ò有关的常 设投影方向为W,为了使投影后样本的总体离 08 散度最大，由方差的定义可得 数项，则有 1 ∑(x-)W)2= min Iw∑‖xg-x2wm. (14) J(w)=mxN 式中：向量1保证式(14)为标量.式(14)中1与W x1之w(x:-(x-E)W= mgxN 无关，并综合考虑各类样本，可得 min W'S,W. (15) gm(哈含红--用w 式中，=名- 令S=名（出-）x-到，则上式变为 下面求类间离散度矩阵Sg,对式(13)进行如下 J(W)=maxW'S,W. 数学变换： W可通过求解如下特征值问题得到： c Ni S,W =AW. Ps(x)=1-台台 82 3.3.2最小误差解释 设样本点：降维后变为x',希望降维后的样 ∑INe-xI2 1、 本点与原样本点之间的误差尽可能小，则引入最小 8 平方误差：