第6期 张晓丹等：基于样条函数的光滑支持向量机模型 ·719· 的、性能更好的样条光滑函数：(2)如果存在，如何 这种修正对原问题的影响很小，然而这种修正 寻找和构造这些样条光滑函数：(3)以这些样条光 却能导出目标函数的强凸性等优良特性四，在 滑函数为基础构造的样条函数光滑支持向量机模型 式(3)中，令松弛变量y为如下形式： 的解的收敛性、分类性能如何.本文将对以上几个 y=(e-D(Aw-ey)）+· (4) 问题进行一些探讨.通过广义三弯矩法构造新的样 这里，(·)+为正号函数，(x),:=((x)+, 条函数作为光滑函数，在此基础上建立基于样条函 (x2)+,…,(xm,)T,其中(x),=max{0,x:},i=1, 数的支持向量机模型(spline function smooth support 2,,m.将式(3)目标函数中的y用式(4)代替，就 vector machine,SPSSVM),并对光滑函数和模型的 可以得到无约束的优化问题： 性能进行研究. (e-D(do-ey).+(oo+y). 1光滑支持向量机模型 (5) 式中，(e-D(Aw-ey))+不可微，因此目标函数不 给定R"中m个点a1,a2,…,am,用矩阵Amxn表 光滑.所以，需要引入光滑的函数对正号函数部分 示，目标是将a1,a2,…,am分为A+和A两类.若 进行逼近，得到目标函数可微的二次优化问题 a:属于类A*,记为1；若a属于类Aˉ，记为-1.则 正号函数和一般光滑函数的图像如图2所示 可以用一个m×m的对角阵D来表示分类情况，其 中，D的对角元素为1或-1.此问题标准的支持向 量机模型为：对于某个v>0, 1 veyw (w.y.y)cRa+1om (1) s.t.D(Aw-ey）+y≥e,y≥0. 在这个优化问题中，ω是如下的边界面的法向量： [xω-y=1, (2) Ix"@-y=-1. 图2光滑函数（虚线）在区间[-大]逼近x, 式中：y决定了边界面到原点的距离；e为分量全部 为1的列向量：y为松弛变量，当类A*和类Aˉ是严 g2 wh fnc inae,n【-大，大] 格线性可分时，y=0;xw-y=1和xw-y=-1 Lee和Mangasarian提出使用Sigmoid函数的 分别为类A*和类Aˉ的边界，此时分类的超平面为 积分函数 xw=y,该平面处于式(2)描述的两个水平面之间， 如图1所示.如果类A+和类A不是严格线性可分 p,)=x+g1+e),k>0 (6) 的，则有：(1)若x=A:,d:=1,则xw-y+y:≥1； 作为光滑函数逼近式(5)中的正号函数，得到光滑 支持向量机模型： (2)若xT=A,d=-1,则xw-y+y:≤-1. minvllp(e-D(Ao-ey),k i(ww+y). (7) xw-y+1 在文献9]中，采用了具有二阶光滑性的三次 样条函数作为光滑函数， Axa-Y-】 ro=y S (x,k)= 分类超平面 3+2+L1 图1线性可分支持向量机分类示意图 6 2x +2+6 、1 ≤x<0, (8) Fig.1 Strictly linearly separable SVM k2 6 + 2 11 1 +宁+0≤≤石 对式(1)的标准目标函数进行修正，可以得到 得到基于三次样条函数的光滑支持向量机模型： 如下的修正模型： ty). minl(e-D(Aw-ey）,)I+ (3) s.t.D(Aw-ey）+y≥e,y≥0. i0w+y). (9)第 6 期 张晓丹等: 基于样条函数的光滑支持向量机模型 的、性能更好的样条光滑函数; ( 2) 如果存在，如何 寻找和构造这些样条光滑函数; ( 3) 以这些样条光 滑函数为基础构造的样条函数光滑支持向量机模型 的解的收敛性、分类性能如何． 本文将对以上几个 问题进行一些探讨． 通过广义三弯矩法构造新的样 条函数作为光滑函数，在此基础上建立基于样条函 数的支持向量机模型( spline function smooth support vector machine，SPSSVM) ，并对光滑函数和模型的 性能进行研究． 1 光滑支持向量机模型 给定 Rn 中 m 个点 a1，a2，…，am，用矩阵 Am × n表 示，目标是将 a1，a2，…，am 分为 A + 和 A － 两类． 若 ai 属于类 A + ，记为 1; 若 ai 属于类 A － ，记为 － 1． 则 可以用一个 m × m 的对角阵 D 来表示分类情况，其 中，D 的对角元素为 1 或 － 1． 此问题标准的支持向 量机模型为: 对于某个 υ ＞ 0， min ( ω，γ，y) ∈Rn + 1 + m υeT y + 1 2 ωT ω， s． t． D( Aω － eγ) + y≥e，y≥0 { ． ( 1) 在这个优化问题中，ω 是如下的边界面的法向量: xT ω － γ = 1， xT { ω － γ = － 1． ( 2) 式中: γ 决定了边界面到原点的距离; e 为分量全部 为 1 的列向量; y 为松弛变量，当类 A + 和类 A － 是严 格线性可分时，y = 0; xT ω － γ = 1 和 xT ω － γ = － 1 分别为类 A + 和类 A － 的边界，此时分类的超平面为 xT ω = γ，该平面处于式( 2) 描述的两个水平面之间， 如图 1 所示． 如果类 A + 和类 A － 不是严格线性可分 的，则有: ( 1) 若 xT = Ai，dii = 1，则 xT ω － γ + yi≥1; ( 2) 若 xT = Ai，dii = － 1，则 xT ω － γ + yi≤ － 1． 图 1 线性可分支持向量机分类示意图 Fig． 1 Strictly linearly separable SVM 对式( 1) 的标准目标函数进行修正，可以得到 如下的修正模型: min ( ω，γ，y) ∈Rn + m + 1 υ 2 yT y + 1 2 ( ωT ω + γ2 ) ， s． t． D( Aω － eγ) + y≥e，y≥0 { ． ( 3) 这种修正对原问题的影响很小，然而这种修正 却能导 出 目 标 函 数 的 强 凸 性 等 优 良 特 性［4］． 在 式( 3) 中，令松弛变量 y 为如下形式: y = ( e － D( Aω － eγ) ) + ． ( 4) 这里，( ·) + 为 正 号 函 数，( x) + ∶ = ( ( x1 ) + ， ( x2 ) + ，…，( xm ) + ) T ，其中( xi ) + = max{ 0，xi} ，i = 1， 2，…，m． 将式( 3) 目标函数中的 y 用式( 4) 代替，就 可以得到无约束的优化问题: min ω，γ 1 2 υ‖( e － D( Aω － eγ) ) + ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 5) 式中，( e － D( Aω － eγ) ) + 不可微，因此目标函数不 光滑． 所以，需要引入光滑的函数对正号函数部分 进行逼近，得到目标函数可微的二次优化问题． 正号函数和一般光滑函数的图像如图 2 所示． 图 2 光滑函数( 虚线) 在区间 [ － 1 k ，1 k ] 逼近 x + Fig． 2 Smooth function approximates x + [ in － 1 k ，1 k ] Lee 和 Mangasarian ［6］提出使用 Sigmoid 函数的 积分函数 p( x，k) = x + 1 k lg( 1 + e － kx ) ，k ＞ 0 ( 6) 作为光滑函数逼近式( 5) 中的正号函数，得到光滑 支持向量机模型: min ω，γ 1 2 υ‖p( e － D( Aω － eγ) ，k) ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 7) 在文献［9］中，采用了具有二阶光滑性的三次 样条函数作为光滑函数， S1 ( x，k) = k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， － 1 k ≤x ＜ 0， － k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， 0≤x≤ 1 k { ， ( 8) 得到基于三次样条函数的光滑支持向量机模型: min ω，γ 1 2 υ‖S1 ( e － D( Aω － eγ) ，k) ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 9) ·719·