474 智能系统学报 第7卷 由LPP算法不难看出：当样本点x:和x满足 N- ‖x:-x‖2<e时，将2点相连并计算相应权重.当 类的样本均值为(i=1,2,…,c),则有x=N x∈{训练样本}时，令LPP的权重函数为 LDA的最优化表达式为 s=exp(-1x-2)/28). WSeW J(W)=max (11) √/2T8 w WSW 且满足 由拉格朗日乘子法可得：求解式(11)等价于求 上含盒 解一般矩阵SSg的特征值问题. -exp(-lx2)dx =1. 3.1.2最小误差解释 (8) 以二分类问题为例，从最小误差角度解释 式中：C为常数， LDA. 求解式(8)可得 1)用Bhattacharyya系数确定二分类问题的错 C=1/N(2Φ（ε）-1). 误率上界。 式中：a)=∫2n(-r2 由文献[18]可知，为了使二分类问题错误率上 界尽可能小，必须保证Bhattacharyya系数尽可能 对于任意给定的ε值，通过查表可求得④(e), 大.用JB表示Bhattacharyya系数，有 进而得到C值.当B→∞时，C=1/N,此时FEMPW Jn =-Inp(xI 0)p(1 @2)dx. 等价于LPP.也就是说，LPP是FEMPW的特例. 假设2类样本服从正态分布：xly=0~N(1, 3 Parzen窗与LDA和PCA 1),xly=1~N(u2,2)则有 LDAS)和PCA]是特征提取中最为经典和广 g:-,3含)-a,+ 泛使用的方法.针对于LDA和PCA,科学家们进行 了广泛研究并取得了众多成果.与已有研究思路不 1(+2)/2 (12) 同，本文主要贡献在于：1)出发点不同，目前已有研 究主要从空间几何和最小误差角度展开，而本文从 当1=2=Σ时，式(12)可转化为 降维过程中数据分布特征的变化入手对其进行探 。=g:-u)2:u月 讨；2)解释模型不同，目前已有研究主要基于空间 几何和最小误差2种解释模型，而本文通过Parzen 特别地，当=E时， 窗建立概率密度估计与LDA和PCA的关系，从概 h=g-4:-a, 率密度角度对其进行解释. 2)样本的最大似然估计. 3.1 LDA 最大似然估计函数可表示为 3.1.1几何解释 从几何角度看，LDA的目的是将高维特征降到 L(中12，∑)= 低维空间，保证在低维空间异类样本尽量分开，同类 logp(x中142，∑)= 样本尽量紧密： = 样本的类间离散度矩阵和类内离散度矩阵分别 l1ogp(x1w12,∑)p), 定义为 求导并令导数为零可得 SB=∑N,(E-E)(x-)T, (9) ∑=∑(x-u)(x:-4)1+ S,=合(5-0(5，-)(10) ∑(x:-2)(x-) 式中：xg∈R(i=1,2,…,c=1,2,…,N)表示第i 类中的第j个样本，N:表示第i类样本个数，c表示 式中：Σ是样本特征方差均值， 样本类别总数所有样本的均值一含：设第： 为了使错误率的上界和样本散度尽可能小，投 影方向W应满足