张晓丹等：一个广义三次样条光滑半监督支持向量机 ·387· a停1+是1+ mo 6k3 (2)0≤N(1x)-(x,≤(2-） 同理，在区间D,1/们上，设s(x,k)=m,对该 证明：(1)当x≥1/k和x≤-1/k时，A(1x1)- 式逐次积分，有 s(x,)=0,结论显然成立.当x∈（-1/，0)时，s(x, s"(x,k)=m1x+b1, k)=-2x33-kx2-1/(3k)+1,s(x,k)=1- i(x,月=2+6x+, (x+1)2≥0，s(x,k)单调增，故s(x,k)≥s(-1/, k)=1-1/k≥0.其次，令A(x,k)=A(IxI)-s(x,k), ,-+号++ (x,k)=kx+x+13k.(x,k)=kx+ 2kx+1=(kx+1)2≥0，A(x,)单调增，在x=-1/k处 根据在点x2处的光滑条件，可以求得： 取最小值入（-1/k,k)=0,所以入(x,k)≥0，即0≤ 6=受么-1+贤么-10 s(x,k)≤A(Ixl). 当xe(0,1/k)时，s(x,k)=2x3B-x2-1/3k+ 因此，s(x,)在[-1/k,1/们上是带有参数m。和 1,易证s(x,k)单调递减，故s(x,k)≥s(1/k,k)=1- m,的分段三次多项式，应用点x1处的光滑条件，可得 1/k≥0.其次，A(x,)=-k2x33+kx2-x+1/(3k), 出如下矩阵方程： A(x,)单调减，在x=1/k处取最小值A(1/,k)=0, e-1 所以入(x,k)≥0，即0≤s(x,k)≤A(Ix1). (2)当x≥1/k和x≤-1/k时，结论显然成立.当 因为系数矩阵是非奇异的，所以矩阵方程有唯一解： x∈（-1/k,0)时，由(1)，A(x,k)单调增，在x=0处取 最大值为1/3k,因此有0≤A(1x1)-s(x,k)≤1/3k. m=-2k2,m1=2k2. 又0≤A(Ixl)+s(x,k)≤2-1/3k,所以0≤A2(1x1)- 最后可求得唯一一个在[-1k,1/们上具有零点二阶 光滑性的广义三次样条对称铰链损失逼近函数： (,)≤(2-)结论成立 类似可证，在区间(0,1/)上，0≤42(1x)-s2(x, s(x,k)= 「-kx23/3-2-1/(3k)+1,-1/k≤x≤0： 12xB-kx2-1/(3k)+1,0<x≤1/k. )≤(2-)成立 从图1中可以看出，随着k的加大，广义三次样条 函数逐步逼近对称铰链损失函数，逼近误差远小于高 3 模型的收敛性分析 斯函数的逼近误差 定理3设A∈Rmx,B∈Rx",x∈R”,7∈R", 1.00 对称铰链 u∈R,c,c∈R,DER"x"是对角阵，D的对角元素为 高斯函数一 损失函数 1或-1.实函数定义如下： 0.95 h(田)=2Ix:+号IA(D(Ax+n)I匠+ 米 (8) 0.90 米 合A(+aDIi g,A=1x径+分IA(D(Ax+n)I+ 0.85 (9) 广义三次样条函数=10 合I:(r+r,I店 广义三次样条函数-20 其中，s(x,),k>1由(7)式定义.则： -0.1 0.1 0.2 (1)优化问题minh(x)存在最优解x,ming(x,k) 图1不同光滑函数与对称较链损失函数的逼近效果 存在最优解x,并且limh()=h(d). Fig.1 Approximation effect of different smooth functions and the (2)设优化问题mih(x)的最优解集合为U,则 symmetry hinge loss function {F}存在的收敛子列{F}满足Iimr=x,这里x。∈ 2.2样条铰链光滑函数逼近精度分析 U 定理2设x∈R,k>1,A(Ix|)是对称铰链损失 证明：(1)定义相应的水平集为L,(h(x)={xlx∈ 函数，s(x,)是广义三次样条函数，则 R",h(x)≤. (1)0≤s(x,k)≤A(1xl): L,（g(x,k))={xIxER",g(x,k)≤.由于0≤张晓丹等: 一个广义三次样条光滑半监督支持向量机 a1 = m0 k ，a2 = 1 + m0 2k 2，a3 = 1 + m0 6k 3 ． 同理，在区间［0，1 / k］上，设 s ( 3) 1 ( x，k) = m1，对该 式逐次积分，有 s″1 ( x，k) = m1 x + b1， s'1 ( x，k) = m1 2 x 2 + b1 x + b2， s1 ( x，k) = m1 3! x 3 + b1 2 x 2 + b2 x + b3 ． 根据在点 x2 处的光滑条件，可以求得: b1 = － m1 k ，b2 = － 1 + m1 2k 2，b3 = 1 － m1 6k 3 ． 因此，s( x，k) 在［－ 1 / k，1 / k］上是带有参数 m0 和 m1 的分段三次多项式，应用点 x1 处的光滑条件，可得 出如下矩阵方程: 1 1 1 /2k 2 － 1 /2k [ 2 ] m0 [ m ] 1 = 0 [ ] － 2 ． 因为系数矩阵是非奇异的，所以矩阵方程有唯一解: m0 = － 2k 2 ，m1 = 2k 2 ． 最后可求得唯一一个在［－ 1 / k，1 / k］上具有零点二阶 光滑性的广义三次样条对称铰链损失逼近函数: s( x，k) = － k 2 x 3 /3 － kx2 － 1/( 3k) + 1， － 1/ k≤x≤0; k 2 x 3 /3 － kx2 { － 1/( 3k) + 1， 0 ＜ x≤1/ k． 从图 1 中可以看出，随着 k 的加大，广义三次样条 函数逐步逼近对称铰链损失函数，逼近误差远小于高 斯函数的逼近误差． 图 1 不同光滑函数与对称铰链损失函数的逼近效果 Fig． 1 Approximation effect of different smooth functions and the symmetry hinge loss function 2. 2 样条铰链光滑函数逼近精度分析 定理 2 设 x∈Ｒ，k ＞ 1，Λ( | x | ) 是对称铰链损失 函数，s( x，k) 是广义三次样条函数，则 ( 1) 0≤s( x，k) ≤Λ( | x | ) ; ( 2) 0≤Λ2 ( | x | ) － s 2 ( x，k) ≤ 1 3 ( k 2 － 1 3 ) k ． 证明: ( 1) 当 x≥1 / k 和 x≤ － 1 / k 时，Λ( | x | ) － s( x，k) = 0，结论显然成立． 当 x∈( － 1 / k，0) 时，s( x， k) = － k 2 x 3 /3 － kx2 － 1 /( 3k ) + 1，s' ( x，k ) = 1 － ( kx + 1) 2 ≥0，s( x，k) 单调增，故 s( x，k) ≥s( － 1 / k， k) = 1 － 1 / k≥0． 其次，令 λ( x，k) = Λ( | x | ) － s( x，k) ， 则 λ( x，k) = k 2 x 3 /3 + kx2 + x + 1 /3k． λ'( x，k) = k 2 x 2 + 2kx + 1 = ( kx + 1) 2 ≥0，λ( x，k) 单调增，在 x = － 1 / k 处 取最小值 λ( － 1 / k，k) = 0，所以 λ( x，k) ≥0，即 0≤ s( x，k) ≤Λ( | x | ) ． 当 x∈( 0，1 / k) 时，s( x，k) = k 2 x 3 /3 － kx2 － 1 /3k + 1，易证 s( x，k) 单调递减，故 s( x，k) ≥s( 1 / k，k) = 1 － 1 / k≥0． 其次，λ( x，k) = － k 2 x 3 /3 + kx2 － x + 1 /( 3k) ， λ( x，k) 单调减，在 x = 1 / k 处取最小值 λ( 1 / k，k) = 0， 所以 λ( x，k) ≥0，即 0≤s( x，k) ≤Λ( | x | ) ． ( 2) 当 x≥1 / k 和 x≤ － 1 / k 时，结论显然成立． 当 x∈( － 1 / k，0) 时，由( 1) ，λ( x，k) 单调增，在 x = 0 处取 最大值为 1 /3k，因此有 0≤Λ( | x | ) － s( x，k) ≤1 /3k． 又0≤Λ( |x | ) + s( x，k) ≤2 － 1/3k，所以 0≤Λ2 ( | x | ) － s 2 ( x，k) ≤ 1 3 ( k 2 － 1 3 ) k ，结论成立． 类似可证，在区间( 0，1 / k) 上，0≤Λ2 ( | x | ) － s 2 ( x， k) ≤ 1 3 ( k 2 － 1 3 ) k 成立． 3 模型的收敛性分析 定理 3 设 A∈Ｒm × n ，B∈Ｒl × n ，x∈Ｒn ，η∈Ｒm， μ∈Ｒl ，c，c * ∈Ｒ，D∈Ｒm × m 是对角阵，D 的对角元素为 1 或 － 1． 实函数定义如下: h( x) = 1 2 ‖x‖2 2 + c 2 ‖Λ( D( Ax + η) ) ‖2 2 + c * 2 ‖Λ( | Bx + μ | ) ‖2 2 ( 8) g( x，k) = 1 2 ‖x‖2 2 + c 2 ‖Λ( D( Ax + η) ) ‖2 2 + c * 2 ‖s( Bx + μ，k) ‖2 2 ( 9) 其中，s( x，k) ，k ＞ 1 由( 7) 式定义． 则: ( 1) 优化问题min x∈Ｒn h( x) 存在最优解 x，min x∈Ｒn g( x，k) 存在最优解 xk ，并且lim k→∞ h( xk ) = h( x) ． ( 2) 设优化问题min x∈Ｒn h( x) 的最优解集合为 Uh，则 { xk } 存在的收敛子列{ xkn } 满足lim n→∞ xkn = xh，这里 xh∈ Uh ． 证明: ( 1) 定义相应的水平集为 Lν ( h( x) ) = { x | x∈ Ｒn ，h( x) ≤ν} ． Lν ( g( x，k) ) = { x | x∈Ｒn ，g( x，k) ≤ν} ． 由于 0≤ · 783 ·