分性判据;如果每个分支的可分性判据都大于其左端分支的可分性判据,则搜索时间最长, 需计算可分性判据的次数可能>15次。 次优搜索算法 1.顺序前进法( Sequential Forward Selection.,SFS) 每次从未入选的特征中选择一个特征,使得它与已入选的特征组合到一起所得到的可分 性判据最大,直到特征数增加到M为止。用x表示在第k步时的特征集合,搜索算法如 1)开始时,X6=⑦,从N个特征中选择一个J(x)最大的特征,加入已选特征集, X1={x} 2)在第k步,Xk中包含已经选择的k个特征,对未入选的N-k个特征计算, J(xU(x),其中j=12…,N-k,并且按照由大到小排序,将可分性判据 最大的特征x加入Xk,Xn=XU{x} 3)直到所选的特征数等于M为止 2.顺序后退法( Sequential Backward Selection,SBS) 同顺序前进法的过程刚好相反,最开始时取X0={x1…,x},每次从中剔除一个特征, 使得剩余的特征可分性判据最大 3.增1减r法(l-r法) 前两种方法可以进一步改进,比如每次不是加入1个特征,而是加入l个特征;或者每 次不是剔除一个特征,而是剔除r个特征。这样的效果要比每次加1或减1的效果好,但是 计算量要增大。 另外一种改进方法是将SFS和SBS结合,先使用SFS算法逐个选入l个最佳特征,然 后使用SBS算法逐个剔除r个最差特征,l>r,再使用SFS算法增加l个特征,再使用SBS 剔除r个特征, 直到选出M个特征为止。 54特征提取 特征抽取的方法很多,下面我们以其中的一种一基于离散KL变换DKLT的特征抽取, 其它方法与此类似 设原始特征为N为矢量X=(x,x…,x),均值矢量m=EX],相关矩阵 R、=E[x]·协方差矩阵Cx=E(X-m)(X-m) 我们可以对X作如下的标准正交变换,将其变为矢量Y=(y,y2,…,y)50 分性判据；如果每个分支的可分性判据都大于其左端分支的可分性判据，则搜索时间最长， 需计算可分性判据的次数可能 15 次。 二、次优搜索算法 1. 顺序前进法（Sequential Forward Selection, SFS） 每次从未入选的特征中选择一个特征，使得它与已入选的特征组合到一起所得到的可分 性判据最大，直到特征数增加到 M 为止。用 Xk 表示在第 k 步时的特征集合，搜索算法如 下： 1) 开始时， X0 = ，从 N 个特征中选择一个 J x( i) 最大的特征，加入已选特征集， X x 1 = i ； 2) 在第 k 步， Xk 中包含已经选择的 k 个特征，对未入选的 N k − 个特征计算， J X x ( k j  ) ，其中 j N k = − 1, 2, , ，并且按照由大到小排序，将可分性判据 最大的特征 l x 加入 Xk ， X X x k k l +1 =   ； 3) 直到所选的特征数等于 M 为止。 2. 顺序后退法 (Sequential Backward Selection, SBS) 同顺序前进法的过程刚好相反，最开始时取 X x x 0 1 = , , N ，每次从中剔除一个特征， 使得剩余的特征可分性判据最大。 3. 增 l 减 r 法（ l r − 法） 前两种方法可以进一步改进，比如每次不是加入 1 个特征，而是加入 l 个特征；或者每 次不是剔除一个特征，而是剔除 r 个特征。这样的效果要比每次加 1 或减 1 的效果好，但是 计算量要增大。 另外一种改进方法是将 SFS 和 SBS 结合，先使用 SFS 算法逐个选入 l 个最佳特征，然 后使用 SBS 算法逐个剔除 r 个最差特征， l r  ，再使用 SFS 算法增加 l 个特征，再使用 SBS 剔除 r 个特征，…，直到选出 M 个特征为止。 5.4 特征提取 特征抽取的方法很多，下面我们以其中的一种—基于离散 K-L 变换(DKLT)的特征抽取， 其它方法与此类似。 设原始特征为 N 为矢量 ( 1 2 , , , ) T N X = x x x ，均值矢量 m X = E  ，相关矩阵 T = E   X   R XX ，协方差矩阵 ( )( ) T = − − E     C X m X m X 。 我们可以对 X 作如下的标准正交变换，将其变为矢量 ( 1 2 , , , ) T N Y = y y y :