Vol.28 No.9 袁立等：基于核主元分析法和支持向量机的人耳识别 893。 宫 (20) g(xi)= yk(,x)+b吧，=12n 由上式可知通过引入核函数的方法，在高维空间 (24) 实际上只需进行内积运算，而这种内积运算是可 其中，bP为分类阈值，k(x,x)为核函数.最优分 以用原空间中的函数实现的，从而避免了在R 中进行非线性变换④Φ的不便. 类面问题是在约束条件， 名 ya=0和0≤a≤C 综上所述，核主元分析的主要计算步骤为： (i=L,2,,n,C为Lagrange乘子设定的上限， (1)选取核函数，计算矩阵K. 为正常数)下对4求解下列函数的最大值： (2)因为假设条件为 另到=0而实际 0(a)= 空月0k, 上并不能在空间R中显式地计算Φ(：).但对 (25) 任意④和一组样本x1,；xm,对于： 其中a=[@,a2,aT.这个问题的最优化解 中，多数为0，取值非0的a(记为a,i=1,2, ④(xk)=④xk)-(1/m) Φx)(21) ；s)对应的能使式(25)成立的样本则构成支持 向量x,i=1,2,,S,且s<n.由此构造的分 是满足假设条件的，即 Φ(xx)=0.定义k= 类器决策函数为： (Φ()，Φ()，由于无法计算式(21)，所以不能 h之wk(,)+b)-1=0126 直接得到K,但可通过对K做修正来间接求得. 于是，只要代入上式任一支持向量x"及对应的 定义1=1，（Im)=1Vm, 类别标记y,即可求出分类阈值b”: k=4 b"-y7- = 好-空奶》 (27) 最后得到支持向量机的最优分类函数为： likinlnj- (28) (K-ImK-KIm+ImKIm)ij (22) f(x)=sgm 空5i(x”+b 式中sgn()为符号函数. (3)求解m入α=Ka,得到矩阵K的特征值 3.2SVM的设计 及其对应的特征向量，提取主元(k=p,, 以上描述的是两分类支持向量机.对于多类 m),并根据式(18)和式(19)归一化. 识别问题，通常采用的方案有“一对一”和“一对 (4)对样本x,计算其在特征向量w(k=p, 多”等4.本文采用的是“一对多”的方案.对于 M类问题，则构造M个分类器，训练第i个分类 ；m)上的投影，构成特征向量 器，用于分开第i类样本和其他的M一1类样本. (wk,Φ(x)= a(x,x)）(23) 测试时，输入测试样本，综合各个分类器的输出， 例如，如果只有第i个分类器的输出是十1，则该 3分类器设计 样本属于第i类：如果所有的分类器的输出都是 3.1SVM基本原理 一1，则该样本是新样本：如果有多个分类器的输 出为十1，则再用距离分类技术以判断该样本的 在提取有效的图像特征之后，选择合适的分 类属.文中所采用的距离分类器基于Cosine距离 类器成为识别问题的关键.支持向量机是基于结 测度： 构风险最小化原理的统计学习方法，适用于小样 -xy 本分类问题1. a.(x,y以=x1TyI (29) 对于给定的训练集{，}，：=（x1,x2, 其中x和y代表两个特征向量. ;xa)∈R,y:∈{+l,-1}为类标记i=L,2, ;n,n为训练集样本个数.最优分类面函数设 4实验结果 为： 在实验中，核主元分析法中使用了Cosine核∑ m i =1 αkik ( xi , x) ( 20) 由上式可知通过引入核函数的方法, 在高维空间 实际上只需进行内积运算, 而这种内积运算是可 以用原空间中的函数实现的, 从而避免了在 R f 中进行非线性变换 Υ的不便. 综上所述, 核主元分析的主要计算步骤为 : ( 1) 选取核函数, 计算矩阵 K . ( 2) 因为假设条件为 ∑ m k =1 Υ( xk ) =0, 而实际 上并不能在空间 R f 中显式地计算 Υ( xk ) .但对 任意 Υ和一组样本x1, …, xm , 对于 : Υ( xk ) =Υ( xk ) -( 1/ m) ∑ m k =1 Υ( xk ) ( 21) 是满足假设条件的, 即 ∑ m k =1 Υ( xk ) =0 .定义 kij = ( Υ( xi) , Υ( xj) ), 由于无法计算式( 21) , 所以不能 直接得到 K , 但可通过对 K 做修正来间接求得. 定义 Iij =1, ( Im) ij =1/ m, k ij = Υ( xi) - 1 m ∑ m l =1 Υ( xl) , Υ( xj) - 1 m ∑ m n =1 Υ( xn ) = kij - 1 m ∑ m l=1 Iilklj - 1 m ∑ m n =1 kinInj + 1 m 2 ∑ m l, n =1 IilklnInj = ( K -ImK -KIm +ImKIm) ij ( 22) ( 3) 求解 m λα=K α, 得到矩阵 K 的特征值 及其对应的特征向量, 提取主元 αk ( k =p , …, m), 并根据式( 18)和式( 19)归一化 . ( 4) 对样本 x, 计算其在特征向量 wk ( k =p, …, m)上的投影, 构成特征向量 ( wk , Υ( x)) = ∑ m i =1 αki( Υ( xi), Υ( x) ) ( 23) 3 分类器设计 3.1 SVM 基本原理 在提取有效的图像特征之后, 选择合适的分 类器成为识别问题的关键 .支持向量机是基于结 构风险最小化原理的统计学习方法, 适用于小样 本分类问题[ 13] . 对于给定的训练集{xi , yi}, xi =( xi1, x i2, …, xid ) T ∈ R d , y i ∈{+1, -1}为类标记, i =1, 2, …, n , n 为训练集样本个数 .最优分类面函数设 为: g( xi) = ∑ n j =1 αjyjk ( xi , xj) +b op , i =1, 2, …, n ( 24) 其中, b op为分类阈值, k( xi , xj)为核函数.最优分 类面问题是在约束条件 ∑ n i =1 yiαi =0 和 0 ≤αi ≤C ( i =1, 2, …, n, C 为 Lagrange 乘子设定的上限, 为正常数)下对 αi 求解下列函数的最大值 : Q( α) = ∑ n i =1 αi -1 2 ∑ n i, j =1 αiαjy iyjk ( xi , xj) ( 25) 其中 α=[ α1, α2, …, αn] T .这个问题的最优化解 中, 多数 αi 为0, 取值非0 的 αi(记为 α sv i , i =1, 2, …, s)对应的能使式( 25)成立的样本则构成支持 向量 x sv i , i =1, 2, …, s, 且 s <n .由此构造的分 类器决策函数为: yi ∑ n j =1 αjyjk ( xi , xj) +b op ) -1 =0 ( 26) 于是, 只要代入上式任一支持向量 x sv i 及对应的 类别标记y sv i , 即可求出分类阈值 b op : b op =y sv i - ∑ n j =1 αjyjk ( x sv i , xj) = y sv i - ∑ s j =1 αsv j y sv j k ( x sv i , x sv j ) ( 27) 最后得到支持向量机的最优分类函数为 : f ( x) =sgn ∑ s i =1 αsv i y sv i k ( x, x sv i ) +b op ( 28) 式中 sgn(·)为符号函数 . 3.2 SVM 的设计 以上描述的是两分类支持向量机.对于多类 识别问题, 通常采用的方案有“ 一对一” 和“一对 多”等[ 14] .本文采用的是“一对多”的方案.对于 M 类问题, 则构造 M 个分类器, 训练第 i 个分类 器, 用于分开第 i 类样本和其他的 M -1 类样本. 测试时, 输入测试样本, 综合各个分类器的输出, 例如, 如果只有第 i 个分类器的输出是 +1, 则该 样本属于第 i 类;如果所有的分类器的输出都是 -1, 则该样本是新样本 ;如果有多个分类器的输 出为+1, 则再用距离分类技术, 以判断该样本的 类属 .文中所采用的距离分类器基于 Cosine 距离 测度 : δco s( x, y) = -x T y ‖ x ‖ ‖ y ‖ ( 29) 其中 x 和y 代表两个特征向量 . 4 实验结果 在实验中, 核主元分析法中使用了 Cosine 核 Vol.28 No.9 袁 立等:基于核主元分析法和支持向量机的人耳识别 · 893 ·