基于样条函数的光滑支持向量机模型

应用光滑函数改进支持向量机模型,得到无约束条件、可微的二次规划问题,从而可以采用快速的最优化算法求解光滑支持向量机模型.提出了一种广义三弯矩方法,用这个方法构造出新的五次样条光滑函数和七次样条光滑函数.证明了上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数;基于上述两个样条函数的光滑支持向量机模型的收敛精度也高于已有的各种光滑支持向量机模型.

团购合买资源类别：文库，文档格式：PDF，文档页数：8，文件大小：476.32KB

D0L:10.13374.issn1001-053x.2012.06.019 第34卷第6期北京科技大学学报 Vol.34 No.6 2012年6月 Journal of University of Science and Technology Beijing Jun.2012 基于样条函数的光滑支持向量机模型张晓丹邵帅刘钦圣北京科技大学数理学院，北京100083 ☒通信作者，Emai:bkdzxd(@163.com 摘要应用光滑函数改进支持向量机模型，得到无约束条件、可微的二次规划问题，从而可以采用快速的最优化算法求解光滑支持向量机模型.提出了一种广义三弯矩方法，用这个方法构造出新的五次样条光滑函数和七次样条光滑函数.证明了上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数：基于上述两个样条函数的光滑支持向量机模型的收敛精度也高于已有的各种光滑支持向量机模型. 关键词支持向量机：样条：分类：数值方法收敛性分类号TP181 Smooth support vector machine model based on spline functions ZHANG Xiao-dan,SHAO Shuai,LIU Qin-sheng School of Mathematics and Physics,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:bkdzxd@163.com ABSTRACT Differentiable and unconstrained quadratic programming can be constructed by improving a support vector machine (SVM)model using a smooth function,and thus a lot of fast optimization algorithms can be applied to solve the smooth SVM model.A new five-order spline function and a new seven-order spline function were constructed by a general three-moment method.These two spline functions are proved that their approximation accuracy is better than any other smooth functions,and the convergence accuracy of the spline function SVM model based on the five-order spline or seven-order spline is higher than any other smooth SVM models. KEY WORDS support vector machines:splines:classification:convergence of numerical methods 支持向量机(support vector machine,SVM)是在的部分，首次构造了用于分类问题的光滑支持向量统计学习理论①基础上发展起来的一种新的机器机模型(smooth support vector machine,SSVM).此学习方法.它可以自动寻找对分类有较好区分能力后，学者们不断地寻找新的光滑函数，以提高光滑函的支持向量，且由其构成的分类器还可以最大化类数的逼近精度以及光滑支持向量机模型的解与最优与类之间的间隔，在解决小样本、非线性和高维数的解的逼近精度.目前比较完善的方法是熊金志模式识别问题中表现出了许多特有的优势.学者们等-则提出的多项式光滑的支持向量机一般模型先后提出了SMO算法a、SVMlight算法、SOR算 (polynomial smooth support vector machine,PSSVM). 法W及LS-SVM囚等算法改进支持向量机模型的形 2007年，袁玉波等构造了一个满足二阶光滑条式，简化计算过程，以便求解支持向量机问题.由于件的三次样条函数作为光滑函数，提出了三次样条无约束条件的支持向量机模型的目标函数是不光滑函数光滑的支持向量机模型回，其逼近精度和数值函数，因此许多经典的快速算法不能用来求解支持试验结果比以往的光滑支持向量机模型有了进一步向量机的优化问题.2001年，Lee和Mangasarian因的改善。同时，作为光滑支持向量机的新的研究方使用已有的光滑技术，采用Sigmoid函数的积分函向，样条函数光滑支持向量机的研究处于起步阶段，数作为光滑函数，来逼近支持向量机模型中不可微有三个主要问题需要解决：(1)是否存在其他形式收稿日期：20110501

第 34 卷第 6 期 2012 年 6 月北京科技大学学报 Journal of University of Science and Technology Beijing Vol． 34 No． 6 Jun． 2012 基于样条函数的光滑支持向量机模型张晓丹邵帅刘钦圣北京科技大学数理学院，北京 100083 通信作者，E-mail: bkdzxd@ 163． com 摘要应用光滑函数改进支持向量机模型，得到无约束条件、可微的二次规划问题，从而可以采用快速的最优化算法求解光滑支持向量机模型．提出了一种广义三弯矩方法，用这个方法构造出新的五次样条光滑函数和七次样条光滑函数．证明了上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数; 基于上述两个样条函数的光滑支持向量机模型的收敛精度也高于已有的各种光滑支持向量机模型．关键词支持向量机; 样条; 分类; 数值方法收敛性分类号 TP181 Smooth support vector machine model based on spline functions ZHANG Xiao-dan ，SHAO Shuai，LIU Qin-sheng School of Mathematics and Physics，University of Science and Technology Beijing，Beijing 100083，China Corresponding author，E-mail: bkdzxd@ 163． com ABSTRACT Differentiable and unconstrained quadratic programming can be constructed by improving a support vector machine ( SVM) model using a smooth function，and thus a lot of fast optimization algorithms can be applied to solve the smooth SVM model． A new five-order spline function and a new seven-order spline function were constructed by a general three-moment method． These two spline functions are proved that their approximation accuracy is better than any other smooth functions，and the convergence accuracy of the spline function SVM model based on the five-order spline or seven-order spline is higher than any other smooth SVM models． KEY WORDS support vector machines; splines; classification; convergence of numerical methods 收稿日期: 2011--05--01 支持向量机( support vector machine，SVM) 是在统计学习理论［1］基础上发展起来的一种新的机器学习方法．它可以自动寻找对分类有较好区分能力的支持向量，且由其构成的分类器还可以最大化类与类之间的间隔，在解决小样本、非线性和高维数的模式识别问题中表现出了许多特有的优势．学者们先后提出了 SMO 算法［2］、SVMlight 算法［3］、SOR 算法［4］及 LS--SVM［5］等算法改进支持向量机模型的形式，简化计算过程，以便求解支持向量机问题．由于无约束条件的支持向量机模型的目标函数是不光滑函数，因此许多经典的快速算法不能用来求解支持向量机的优化问题． 2001 年，Lee 和 Mangasarian ［6］使用已有的光滑技术，采用 Sigmoid 函数的积分函数作为光滑函数，来逼近支持向量机模型中不可微的部分，首次构造了用于分类问题的光滑支持向量机模型( smooth support vector machine，SSVM) ．此后，学者们不断地寻找新的光滑函数，以提高光滑函数的逼近精度以及光滑支持向量机模型的解与最优解的逼近精度．目前比较完善的方法是熊金志等［7 － 8］提出的多项式光滑的支持向量机一般模型 ( polynomial smooth support vector machine，PSSVM) ． 2007 年，袁玉波等构造了一个满足二阶光滑条件的三次样条函数作为光滑函数，提出了三次样条函数光滑的支持向量机模型［9］，其逼近精度和数值试验结果比以往的光滑支持向量机模型有了进一步的改善．同时，作为光滑支持向量机的新的研究方向，样条函数光滑支持向量机的研究处于起步阶段，有三个主要问题需要解决: ( 1) 是否存在其他形式 DOI:10.13374/j.issn1001-053x.2012.06.019

第6期张晓丹等：基于样条函数的光滑支持向量机模型 ·719· 的、性能更好的样条光滑函数：(2)如果存在，如何这种修正对原问题的影响很小，然而这种修正寻找和构造这些样条光滑函数：(3)以这些样条光却能导出目标函数的强凸性等优良特性四，在滑函数为基础构造的样条函数光滑支持向量机模型式(3)中，令松弛变量y为如下形式：的解的收敛性、分类性能如何.本文将对以上几个 y=(e-D(Aw-ey)）+· (4) 问题进行一些探讨.通过广义三弯矩法构造新的样这里，(·)+为正号函数，(x),:=((x)+, 条函数作为光滑函数，在此基础上建立基于样条函 (x2)+,…,(xm,)T,其中(x),=max{0,x:},i=1, 数的支持向量机模型(spline function smooth support 2,,m.将式(3)目标函数中的y用式(4)代替，就 vector machine,SPSSVM),并对光滑函数和模型的可以得到无约束的优化问题：性能进行研究. (e-D(do-ey).+(oo+y). 1光滑支持向量机模型 (5) 式中，(e-D(Aw-ey))+不可微，因此目标函数不给定R"中m个点a1,a2,…,am,用矩阵Amxn表光滑.所以，需要引入光滑的函数对正号函数部分示，目标是将a1,a2,…,am分为A+和A两类.若进行逼近，得到目标函数可微的二次优化问题 a:属于类A*,记为1；若a属于类Aˉ，记为-1.则正号函数和一般光滑函数的图像如图2所示可以用一个m×m的对角阵D来表示分类情况，其中，D的对角元素为1或-1.此问题标准的支持向量机模型为：对于某个v>0, 1 veyw (w.y.y)cRa+1om (1) s.t.D(Aw-ey）+y≥e,y≥0. 在这个优化问题中，ω是如下的边界面的法向量： [xω-y=1, (2) Ix"@-y=-1. 图2光滑函数（虚线）在区间[-大]逼近x, 式中：y决定了边界面到原点的距离；e为分量全部为1的列向量：y为松弛变量，当类A*和类Aˉ是严 g2 wh fnc inae,n【-大，大] 格线性可分时，y=0;xw-y=1和xw-y=-1 Lee和Mangasarian提出使用Sigmoid函数的分别为类A*和类Aˉ的边界，此时分类的超平面为积分函数 xw=y,该平面处于式(2)描述的两个水平面之间，如图1所示.如果类A+和类A不是严格线性可分 p,)=x+g1+e),k>0 (6) 的，则有：(1)若x=A:,d:=1,则xw-y+y:≥1；作为光滑函数逼近式(5)中的正号函数，得到光滑支持向量机模型： (2)若xT=A,d=-1,则xw-y+y:≤-1. minvllp(e-D(Ao-ey),k i(ww+y). (7) xw-y+1 在文献9]中，采用了具有二阶光滑性的三次样条函数作为光滑函数， Axa-Y-】 ro=y S (x,k)= 分类超平面 3+2+L1 图1线性可分支持向量机分类示意图 6 2x +2+6 、1 ≤x<0, (8) Fig.1 Strictly linearly separable SVM k2 6 + 2 11 1 +宁+0≤≤石对式(1)的标准目标函数进行修正，可以得到得到基于三次样条函数的光滑支持向量机模型：如下的修正模型： ty). minl(e-D(Aw-ey）,)I+ (3) s.t.D(Aw-ey）+y≥e,y≥0. i0w+y). (9)

第 6 期张晓丹等: 基于样条函数的光滑支持向量机模型的、性能更好的样条光滑函数; ( 2) 如果存在，如何寻找和构造这些样条光滑函数; ( 3) 以这些样条光滑函数为基础构造的样条函数光滑支持向量机模型的解的收敛性、分类性能如何．本文将对以上几个问题进行一些探讨．通过广义三弯矩法构造新的样条函数作为光滑函数，在此基础上建立基于样条函数的支持向量机模型( spline function smooth support vector machine，SPSSVM) ，并对光滑函数和模型的性能进行研究． 1 光滑支持向量机模型给定 Rn 中 m 个点 a1，a2，…，am，用矩阵 Am × n表示，目标是将 a1，a2，…，am 分为 A + 和 A －两类．若 ai 属于类 A + ，记为 1; 若 ai 属于类 A －，记为－ 1．则可以用一个 m × m 的对角阵 D 来表示分类情况，其中，D 的对角元素为 1 或－ 1．此问题标准的支持向量机模型为: 对于某个 υ ＞ 0， min ( ω，γ，y) ∈Rn + 1 + m υeT y + 1 2 ωT ω， s． t． D( Aω － eγ) + y≥e，y≥0 { ． ( 1) 在这个优化问题中，ω 是如下的边界面的法向量: xT ω － γ = 1， xT { ω － γ = － 1． ( 2) 式中: γ 决定了边界面到原点的距离; e 为分量全部为 1 的列向量; y 为松弛变量，当类 A + 和类 A －是严格线性可分时，y = 0; xT ω － γ = 1 和 xT ω － γ = － 1 分别为类 A + 和类 A －的边界，此时分类的超平面为 xT ω = γ，该平面处于式( 2) 描述的两个水平面之间，如图 1 所示．如果类 A + 和类 A －不是严格线性可分的，则有: ( 1) 若 xT = Ai，dii = 1，则 xT ω － γ + yi≥1; ( 2) 若 xT = Ai，dii = － 1，则 xT ω － γ + yi≤ － 1．图 1 线性可分支持向量机分类示意图 Fig． 1 Strictly linearly separable SVM 对式( 1) 的标准目标函数进行修正，可以得到如下的修正模型: min ( ω，γ，y) ∈Rn + m + 1 υ 2 yT y + 1 2 ( ωT ω + γ2 ) ， s． t． D( Aω － eγ) + y≥e，y≥0 { ． ( 3) 这种修正对原问题的影响很小，然而这种修正却能导出目标函数的强凸性等优良特性［4］．在式( 3) 中，令松弛变量 y 为如下形式: y = ( e － D( Aω － eγ) ) + ． ( 4) 这里，( ·) + 为正号函数，( x) + ∶ = ( ( x1 ) + ， ( x2 ) + ，…，( xm ) + ) T ，其中( xi ) + = max{ 0，xi} ，i = 1， 2，…，m．将式( 3) 目标函数中的 y 用式( 4) 代替，就可以得到无约束的优化问题: min ω，γ 1 2 υ‖( e － D( Aω － eγ) ) + ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 5) 式中，( e － D( Aω － eγ) ) + 不可微，因此目标函数不光滑．所以，需要引入光滑的函数对正号函数部分进行逼近，得到目标函数可微的二次优化问题．正号函数和一般光滑函数的图像如图 2 所示．图 2 光滑函数( 虚线) 在区间 [ － 1 k ，1 k ] 逼近 x + Fig． 2 Smooth function approximates x + [ in － 1 k ，1 k ] Lee 和 Mangasarian ［6］提出使用 Sigmoid 函数的积分函数 p( x，k) = x + 1 k lg( 1 + e － kx ) ，k ＞ 0 ( 6) 作为光滑函数逼近式( 5) 中的正号函数，得到光滑支持向量机模型: min ω，γ 1 2 υ‖p( e － D( Aω － eγ) ，k) ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 7) 在文献［9］中，采用了具有二阶光滑性的三次样条函数作为光滑函数， S1 ( x，k) = k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ，－ 1 k ≤x ＜ 0，－ k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， 0≤x≤ 1 k { ， ( 8) 得到基于三次样条函数的光滑支持向量机模型: min ω，γ 1 2 υ‖S1 ( e － D( Aω － eγ) ，k) ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 9) ·719·

北京科技大学学报第 34 卷式中，k ＞ 1． 2 样条光滑函数的构造与分析 2. 1 广义三弯矩法构造样条光滑函数定义 1 设( ·) + 为正号函数，k ＞ 1， [ 在区间－ 1 k ，1 ] k 上，以 ( － 1 k ，0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 为插值点，y1 为 y 轴上的某一点，若样条光滑函数 S( x) = S0 ( x) ，－ 1 k ≤x ＜ 0 S1 ( x) ， 0≤x≤ { 1 k 逼近正号函数时，满足如下条件: ( 1) S( d ( ) － 1 ) k = 0，d = 1，2，…，m，k ＞ 0， ( S － 1 ) k = 0; ( 2) S( d ( ) 1 ) k = 0，d = 2，…，m，k ＞ 0， ( S' 1 ) k = 1， ( S 1 ) k = 1 k ; ( 3) S( d) 0 ( x1 + 0) = S( d) 1 ( x1 － 0) ，d = 1，2，…，m， S0 ( x1 + 0) = S1 ( x1 － 0) ，x1 = 0．则称函数 S( x) 满足 m 阶光滑条件．定理 1 在区间 [ － 1 k ，1 ] k 上，选取 ( － 1 k ， ) 0 、( 0，y1 ) 和 ( 1 k ，1 ) k 为插值点，其中 y1 为 y 轴正半轴上某一点，k ＞ 1．对于给定的正整数 m( m = 2， 3，4) ，存在逼近正号函数 x + ，且满足定义 1 的 m 阶光滑样条函数，形式如下．二阶光滑样条函数( m = 2) S1 ( x，k) = k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ，－ 1 k ≤x ＜ 0; － k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， 0≤x≤ 1 k { ． ( 10) 三阶光滑样条函数( m = 3) S2 ( x，k) = － k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ，－ 1 k ≤x ＜ 0; k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ， 0≤x≤ 1 k            ． ( 11) 四阶样条光滑函数( m = 4) S3 ( x，k) = － k 6 7 x 7 － 3k 5 4 x 6 － 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ，－ 1 k ≤x ＜ 0; k 6 7 x 7 － 3k 5 4 x 6 + 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ， 0≤x≤ 1 k            ． ( 12) 证明 ( 1) m = 2 时，由文献［9］的结论，显然成立，且应用下面的广义三弯矩法可以求出式( 10) ． ( 2) m = 3 时，采用构造式的证明方法．本文给出了一种广义三弯矩法来证明此结论．设函数 S( x) 为满足三阶光滑条件的五次样条函数．以 S( x) 在点 ( － 1 k ， ) 0 、( 0，y1 ) 和 ( 1 k ，1 ) k 处的四阶导数值 S( 4) ( xi ) = Mi ( i = 0，1，2) 为未知量表示 S( x) ．其中，x1 = － 1 k ，x2 = 0，x3 = 1 k ．由于 S( x) 为在区间 [ － 1 k ， ] 0 和 [ 0，1 ] k 上的五次多项式，故 S( 4) ( x) 在每个区间上都可以表示为线性函数．其中，在区间 [ － 1 k ，0 ] 中的部分，可得 S( 4) 0 ( x) = M0 ( x1 － x) h0 + M1 ( x － x0 ) h1 = － M0 kx + M1 ( k x + 1 ) k ，对该式逐次积分可得 S0 ( x) + a1 = － M0 kx 2 2 + M1 k ( 2 x + 1 ) k 2 ，  S0 ( x) + a1 x 3 3! + a2 x 2 2 + a3 x + a4 = － M0 k 5 5! + M1 k 5 ( ! x + 1 ) k 5 ．根据 ( － 1 k ，0 ) 点处的三阶光滑条件，可解得 a1 = － M0 2k = － 1 × M0 2! k ，a2 = － M0 3k 2 = － 2M0 3! k 2，a3 = － M0 8k 3 = － 3M0 4! k 3，a4 = － M0 30k 4 = － 4M0 5! k 2 ．同理，对于区间 [ 0，1 ] k 上的部分，可得 ·720·

第 6 期张晓丹等: 基于样条函数的光滑支持向量机模型 S( 4) 1 ( x) = M1 ( x2 － x) h1 + M2 ( x － x1 ) h2 = M2 kx + M1 ( k 1 k － ) x ，对该式逐次积分，有 S1 ( x) + b1 = M2 kx 2 2 － M1 k ( 2 1 k － ) x 2 ，  S1 ( x) + b1 x 3 3! + b2 x 2 2 + b3 x + b4 = M2 k 5 5! + M1 k 5 ( ! 1 k － ) x 5 ．根据点 ( 1 k ，1 ) k 处的光滑条件，可以求得 b1 = M2 2k = 1 × M2 2! k ，b2 = － M2 3k 2 = － 2M2 3! k 2， b3 = M2 8k 3 － 1 = － 3M2 4! k 3 － 1，b4 = － M2 30k 4 = － 4M2 5! k 2 ．这样，就得出了带有参数 M0、M1 和 M2 的五次样条光滑函数．再应用点( 0，y1 ) 处的光滑条件，可得出如下矩阵方程: 1 0 1 1 8k 3 － 1 12k 3 － 1 8k 3 1 2k 1 k － 1 2              k  M0 M1 M          2  = 0 － 1        0  ．方程系数矩阵的行列式不为 0，因此，此矩阵方程有唯一解．最后，可求得具有三阶光滑的五次样条函数的形式为 S2 ( x，k) = － k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ，－ 1 k ≤x ＜ 0; k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ， 0≤x≤ 1 k            ． ( 3) m = 4 时．在定义 1 的基础上，加上两个边界点的五阶光滑条件，采用广义三弯矩法．设函数 S( x) 为满足四阶光滑条件的七次样条函数．以 S( x) 在点 ( － 1 k ， ) 0 、( 0，y1 ) 和 ( 1 k ，1 ) k 处的六阶导数值 S( 6) ( xi ) = Mi ( i = 0，1，2 ) 为未知量表示 S( x) ，并通过点( 0，y1 ) 处的光滑条件，可以证明存在如下形式的满足四阶光滑条件( m = 4) 的七次样条光滑函数: S3 ( x，k) = － k 6 7 x 7 － 3k 5 4 x 6 － 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ，－ 1 k ≤x ＜ 0; k 6 7 x 7 － 3k 5 4 x 6 + 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ， 0≤x≤ 1 k            ． 2. 2 样条光滑函数的性质分析前面已经说明通过广义三弯矩法可以求出三次样条光滑函数，并且构造了满足三阶光滑条件的五次样条函数和满足四阶光滑条件的七次样条函数．那么，满足定义 1 条件的二阶光滑、三阶光滑和四阶光滑的样条函数是不是唯一存在的? 这个问题对研究样条光滑函数的进一步推广是十分重要的，本节重点讨论这个问题．定理 2 在区间 [ － 1 k ，1 ] k 上，选取 ( － 1 k ， 0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 为插值点，其中 y1 为 y 轴正半轴上某一点，k ＞ 1，满足二阶光滑条件的三次样条函数是唯一存在的．证明采用反证法．假设在区间 [ － 1 k ，1 ] k 上存在另一个三次样条函数，是以 ( － 1 k ，0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 为插值点、且对正号函数的逼近满足二阶光滑条件．设 y1 = 1 nk ，n∈R + ．显然，满足二阶光滑条件的三次样条函数，必然满足三次样条插值函数的自然边界条件．设点 ( － 1 k ，0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 处的二阶导数值为 S″( xi ) = Mi ( i = 0，1，2) ．其中，x1 = － 1 k ，x2 = 0，x3 = 1 k ．根据求解带有自然边界条件的三次样条插值函数的三弯矩法，得 M0 = 0，M2 = 0． 2M1 = d1 ． d1 = 6f［x0，x1，x2］= 3 ( k 1 － 2 ) n ，则 M1 = 3 2 ( k 1 － 2 ) n ． S0 ( x) = 3 2 ( k 1 － 2 ) ( n x + 1 ) k 3 6 k + ·721·

·722· 北京科技大学学报第34卷可以得到满足定义1的七次样条函数.因此，满足四阶光滑条件的七次样条函数不唯一. 2.3k次样条光滑函数逼近精度分析引理1回设x∈R,S,(x,k)由式(10)定义，x+ 好(1-品)(x-广+（经-4）(x+) 是正号函数，则： 8刘层 (1)S,(x,k)在x∈R上满足定义1的二阶光滑条件： 6 (2)S1(x,k)≥x+: (3)对任意的x∈R,k>1,S1(x,k)2-x2≤ 61 24k2 证明过程见文献⑨] (-品)（食'+（俘-）+ 定理4设x∈R,S2(x,k)由式(11)定义，x+是正号函数，则： (品-)卡 (1)S2(x,k)在x∈R上满足定义1的三阶光滑条件：显然，上述三次样条函数满足除一阶边界条件外的 (2)S2(x,k)≥x+, 其他条件.这里，一阶边界条件为S(-)=0, (3)对任意的x∈R,k>1,S2(x,k)2-x2≤ 1 s()=1 30k2- 下面，通过选取n的取值，使上面的三次样条函证明数满足逼近正号函数的一阶边界条件.对上式求一 (1)根据三阶光滑样条函数的构造过程，可以阶导数直接验证结论成立 S(x)= (-品)+)°+京-宁 (2)）当≥和x≤-时，结论显然成立 -(1-品)(-)+(-) 当xe(-0）时，s9=-6d(2+)≥0，若满足s(-)=0,S()=1,则可求得n=6 则有s在区间x∈(-，0）上单调递增：由于使两个条件均成立那么，可以得出结论，满足逼近正号函数且满足 sg9(-)=0,则s9≥0：同理S≥0，则在区间二阶光滑条件的三次样条函数必经过点(0，众)， (-0)上S(x,)≥，得证同理可证，在即满足二阶光滑条件的样条光滑函数，是以(-，区间x∈(0，)上，(x,)≥x,成立.综上，结论 (2)成立. 0小(0，)和（片）为插值点，且满足自然边界 (3)当x≥和x≤-时，结论显然成立条件的三次样条插值函数.由三次样条插值函数的性质可知，这样的插值函数是唯一存在的当xe(-名0）时，(x,)2-= 定理3在定理2的条件下，满足三阶光滑条 S,(x,k)2.由定理4中结论(2)的证明可知，S,(x, 件的五次样条函数是唯一存在的. 证明过程同定理2. )在xe(-0）时是严格递增的，有S(x,)≤ 对于满足四阶光滑的七次样条函数，由定理1 中第3个结论的证明过程可知，在应用广义三弯矩 ,0,=≤0·则结论成立法时，增加了边界点的五阶光滑条件.因此，若不采用边界点五阶光滑条件，而适当增加其他条件，仍然当xe(0)时，2-2=(-

北京科技大学学报第 34 卷 [ 1 nk － 3 2 ( k 1 － 2 ) n 1 k 2 6 ] x + 1 k 1 k = 1 4 k ( 2 1 － 2 ) ( n x － 1 ) nk 3 + ( 3 2n － ) ( 1 4 x + 1 ) k ， S1 ( x) = 3 2 ( k 1 － 2 ) ( n 1 k － ) x 3 6 k [ + 1 nk － 3 2 ( k 1 － 2 ) n 1 k 2 6 ] 1 k － x 1 k + 1 k x 1 k = 1 4 k ( 2 1 － 2 ) ( n 1 k － ) x 3 + ( 5 4 － 3 2 ) n x ( + 3 2n － ) 1 4 1 k ．显然，上述三次样条函数满足除一阶边界条件外的其他条件．这里，一阶边界条件为 S ( ' － 1 ) k = 0， S ( ' 1 ) k = 1．下面，通过选取 n 的取值，使上面的三次样条函数满足逼近正号函数的一阶边界条件．对上式求一阶导数 S'( x) = 3 4 k ( 2 1 － 2 ) ( n x + 1 ) k 2 + 3 2n － 1 4 ，－ 3 4 k ( 2 1 － 2 ) ( n 1 k － ) x 2 + ( 5 4 － 3 2 ) n { ．若满足 ( S' － 1 ) k = 0， ( S' 1 ) k = 1，则可求得 n = 6 使两个条件均成立．那么，可以得出结论，满足逼近正号函数且满足二阶光滑条件的三次样条函数必经过点 ( 0，1 6 ) k ，即满足二阶光滑条件的样条光滑函数，是以 ( － 1 k ， ) 0 、( 0，1 6 ) k 和 ( 1 k ，1 ) k 为插值点，且满足自然边界条件的三次样条插值函数．由三次样条插值函数的性质可知，这样的插值函数是唯一存在的．定理 3 在定理 2 的条件下，满足三阶光滑条件的五次样条函数是唯一存在的．证明过程同定理 2．对于满足四阶光滑的七次样条函数，由定理 1 中第 3 个结论的证明过程可知，在应用广义三弯矩法时，增加了边界点的五阶光滑条件．因此，若不采用边界点五阶光滑条件，而适当增加其他条件，仍然可以得到满足定义 1 的七次样条函数．因此，满足四阶光滑条件的七次样条函数不唯一． 2. 3 k 次样条光滑函数逼近精度分析引理 1 ［9］设 x∈R，S1 ( x，k) 由式( 10) 定义，x + 是正号函数，则: ( 1) S1 ( x，k) 在 x∈R 上满足定义 1 的二阶光滑条件; ( 2) S1 ( x，k) ≥x + ; ( 3) 对任意的 x∈R，k ＞ 1，S1 ( x，k) 2 － x 2 + ≤ 1 24k 2 ．证明过程见文献［9］．定理 4 设 x∈R，S2 ( x，k) 由式( 11) 定义，x + 是正号函数，则: ( 1) S2 ( x，k) 在 x∈R 上满足定义 1 的三阶光滑条件; ( 2) S2 ( x，k) ≥x + ， ( 3) 对任意的 x∈R，k ＞ 1，S2 ( x，k) 2 － x 2 + ≤ 1 30k 2 ．证明 ( 1) 根据三阶光滑样条函数的构造过程，可以直接验证结论成立． ( 2) 当 x≥ 1 k 和 x≤ － 1 k 时，结论显然成立．当 x∈ ( － 1 k ， ) 0 时，S( 3) 2 = － 6k 3 ( kx 2 + x) ≥0，则有 S( 2) 2 在区间 x∈ ( － 1 k ，0 ) 上单调递增; 由于 S( 2) 2 ( － 1 ) k = 0，则 S( 2) 2 ≥0; 同理 S' 2 ≥0，则在区间 x∈ ( － 1 k ，0 ) 上 S2 ( x，k) ≥x + 得证．同理可证，在区间 x∈ ( 0，1 ) k 上，S2 ( x，k) ≥x + 成立．综上，结论 ( 2) 成立． ( 3) 当 x≥ 1 k 和 x≤ － 1 k 时，结论显然成立．当 x ∈ ( － 1 k ，0 ) 时，S2 ( x，k) 2 － x 2 + = S2 ( x，k) 2 ．由定理 4 中结论( 2) 的证明可知，S2 ( x， k) 在 x∈ ( － 1 k ，0 ) 时是严格递增的，有 S2 ( x，k) ≤ S0 ( 0，k) = 9 400k 2≤ 1 30k 2，则结论成立．当 x∈ ( 0，1 ) k 时，S2 ( x，k) 2 － x 2 + = ( － k 4 10 x 5 － ·722·

第 6 期张晓丹等: 基于样条函数的光滑支持向量机模型 k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20 ) k 2 － x 2 ，设 u( x) = S2 ( x，k) 2 － x 2 + ，作变量代换 a = kx，a∈( 0，1) ，则有 u( a) = 1 k 2 [ ( a5 10 － a4 4 + a2 2 + a 2 + 3 ) 20 2 － a ] 2 ， a∈( 0，1) ．采用二分法或不动点迭代法，可以求出 u'( a) 的零点 a0 = 0. 157 762，且 u″( a0 ) ＜ 0，即 u( a) 在 a∈ ( 0，1) 上极大值点为 a0 = 0. 157 762，从而有 u( x) ≤ u( 0. 157 762) ＜ 1 30k 2，故此时结论成立．综上，结论 ( 3) 成立．定理 5 设 x∈R，S3 ( x，k) 由式( 12) 定义，x + 是正号函数，则: ( 1) S3 ( x，k) 在 x∈R 上满足定义 1 的四阶光滑条件; ( 2) S3 ( x，k) ≥x + ; ( 3) 对任意的 x∈R，k ＞ 1，S3 ( x，k) 2 － x 2 + ≤ 1 58k 2 ．证明过程同定理 4．当光滑函数取式( 6) 时，由文献［6］可知，取ρ = 1 k ，即| x | ＜ 1 k 时，有 P( x，k) 2 － x 2 + ≤ ( lg2 ) k 2 + 2ρ k ( lg2 = lg2 ) k 2 + 2 k 2 lg2≈0. 692 7 1 k 2 ． ( 13) 当光滑函数取式( 10) 时，有 S1 ( x，k) 2 － x 2 + ≤ 1 24k 2≈0. 041 67 k 2 ． ( 14) 当光滑函数取式( 11) 时，有 S2 ( x，k) 2 － x 2 + ≤ 1 30k 2≈0. 033 33 k 2 ． ( 15) 当光滑函数取式( 12) 时，有 S3 ( x，k) 2 － x 2 + ≤ 1 58k 2≈0. 017 24 k 2 ． ( 16) 可见，样条函数与 Sigmoid 积分函数相比，在相同的 k 下对正号函数的逼近精度提高了一个数量级，且随着光滑阶数的增加，样条函数对正号函数的逼近程度不断提高．从表 1 可以看出，在具有相同光滑阶数的情况下，样条函数比多项式函数的次数低 1 次，但是逼近精度比相应的多项式函数要高．因此，在可比条件下，样条函数比多项式函数略有优势．表 1 光滑函数及其逼近精度比较 Table 1 Comparison of smooth functions and approximation accuracy 光滑函数逼近精度光滑阶数函数次数 x + 1 k lg( 1 + e － kx ) 0. 692 7 k2 任意 — k 4 x2 + 1 2 x + 1 4k 0. 090 9 k2 1 2 － 1 16 ( kx + 1) 3 ( kx － 3) 0. 052 6 k2 2 4 k2 6 x3 + k 2 x2 + 1 2 x + 1 6k － k2 6 x3 + k 2 x2 + 1 2 x + 1 6 { k 0. 041 67 k2 2 3 1 32k ( k6 x6 － 5k4 x4 + 15k2 x2 + 16kx + 5) 0. 035 78 k2 3 6 － k4 10 x5 － k3 4 x4 + k 2 x2 + 1 2 x + 3 20k k4 10 x5 － k3 4 x4 + k 2 x2 + 1 2 x + 3 20 { k 0. 033 33 k2 3 5 － 5k7 256 x8 + 7k5 64 x6 － 35k3 128 + 35k 64 x2 + 1 2 x + 35 256k 0. 027 63 k2 4 8 － k6 7 x7 － 3k5 4 x6 － 3k4 2 x5 － 5k3 4 x4 + 3 4 kx2 + 1 2 x + 3 28k k6 7 x7 － 3k5 4 x6 + 3k4 2 x5 － 5k3 4 x4 + 3 4 kx2 + 1 2 x + 3 28 { k 0. 017 24 k2 4 7 3 性质分析 3. 1 模型的收敛性分析本节讨论光滑模型与原来模型最优解之间的差距．定理 6 设 A∈Rm × n ，b∈Rm × 1 ，实函数 h( x) ∶ Rn →R，g( x，k) ∶ Rn × N→R 定义如下: h( x) = 1 2 ‖( Ax + b) + ‖2 2 + 1 2 ‖x‖2 2，( 17) ·723·

·724· 北京科技大学学报第34卷 gx,=7/A-b,I店+2Ix 应用定理4的结论，结论(2)得证 (3)由结论(2)可知lim‖x-x‖3=0，则结论 (18) (3)成立. 式中，f(x,k)定义为式(11).则：定理7设A∈Rmx“,b∈Rmx1,实函数h(x): (1)优化问题minh(x)存在唯一解，记为x;优 R→R,g(x,k):R”×N→R定义如下：化问题ming(x,k)存在唯一解，记为x; (2)）对任意k>1,有F-2≤成立，其 h(x)=之I4x+b),l+分Ix, 中m为训练样本的个数； gx,=之Ifar-b,)+之Ix (3)limx=x. 式中，f(x,k)取为式(12).则：证明 (1)优化问题minh(x)存在唯一解，记为x,优 (1)定义相应的水平集为L,(g(x,k))= 化问题ming(x,)存在唯一解，记为x; {xlx∈R",g(x,k)≤}.L,(h(x)={xlx∈R", (2)对任意k>1,有1F-x≤16，其中 h(x)≤}.由于S(x,k)≥(x)+,对任意v≥0，它们满足L.(g(x,k)CL.(h(x)C{x|IxI≤2w}. m为训练样本的个数；因此，L.(g(x,k))和L.(h(x))是R"空间中的紧 (3)lim=. 集，从而优化问题minh(x)和ming(x,k)最优解存证明过程与定理6类似在.又由于h(x)和g(x,k)对任意的k∈Z+都是强 3.2非线性核函数的基于样条函数的支持向量机凸函数，因此优化问题minh(x)和ming(x,k)的最模型优解是唯一的在前面的讨论中，通过建立一个线性分离超平 (2)在式(17)中，h(x)在原点不可微，此时h 面，来解决线性可分或者近似线性可分的问题.下 (0)采用次梯度来代替. 面利用核函数(kernel function)来建立一个非线性 h(x)在x点的Taylor展开式如下：分离超平面，用来解决非线性分类问题.现在用广 h ()=h(x)+Vh(x)) 义支持向量机(GSVM)模型，使用一个完全任意核来产生非线性分类超平面@.广义支持向量机使 rh(田(-= 用一个广义核K(A,AT)来解决下面的数学规划 h(国+分h(田I子-经问题： [minvey+f(w）, g(c,k)在x点的Taylor展开式如下： H.Y.y g(c,k)=g(,k)+Vg(,k)(c-x)+ ls.t.D(K(A,AT)Du-ey）+y≥e,y≥0. (19) rg,匠-= 这里f()是R"上的某个凸函数，v>0是惩罚函数，“是一个参数，非线性分类超平面为 g,)+2g(,)1正-子经 K(x,AT)Du=y. (20) 从h(x)和g(x,k)的强凸性，可以得到令K(A,AT)=AAT,w=ADu和f(u）= h(的)-h国≥子I定-正和之DA4"Du,则可以得到式().对上述最优化间 g任，月-g,)≥之I正-子题进行改进，可以得到下面的规划问题则 wy). Ir-xI≤g(c,k)-h(田]- s.t.D(K(A,A)Du-ey)+y≥e,y≥0. g(F,)-h(]≤ (21) [g(x,k)-h(]= 于是，按照对于线性模型的讨论方法，可以得到之Isax-b,月I3-子I(ar-b),I3= 带有非线性核函数K(A,AT)的基于样条函数的支持向量机模型：号（言-b,-(a-b2JD. (e-D(K(A.A)Du)

北京科技大学学报第 34 卷 g( x，k) = 1 2 ‖f( Ax － b，k) ‖2 2 + 1 2 ‖x‖2 2 ． ( 18) 式中，f( x，k) 定义为式( 11) ．则: ( 1) 优化问题 minh( x) 存在唯一解，记为 x; 优化问题 ming( x，k) 存在唯一解，记为 xk ; ( 2) 对任意 k ＞ 1，有‖xk － x‖2 ≤ m 60k 2成立，其中 m 为训练样本的个数; ( 3) limk→∞ xk = x．证明 ( 1) 定义相应的水平集为 Lv ( g ( x，k ) ) = { x | x∈Rn ，g( x，k) ≤v} ． Lv ( h( x) ) = { x | x∈Rn ， h( x) ≤v} ．由于 S( x，k) ≥( x) + ，对任意 v≥0，它们满足 Lv( g( x，k) ) Lv ( h( x) ) { x ‖x‖2 2≤2v} ．因此，Lv( g( x，k) ) 和 Lv ( h( x) ) 是 Rn 空间中的紧集，从而优化问题 minh( x) 和 ming( x，k) 最优解存在．又由于 h( x) 和 g( x，k) 对任意的 k∈Z + 都是强凸函数，因此优化问题 minh( x) 和 ming( x，k) 的最优解是唯一的． ( 2) 在式( 17) 中，h( x) 在原点不可微，此时 Δ h ( 0) 采用次梯度来代替． h( xk ) 在 x 点的 Taylor 展开式如下: h( xk ) = h( x) + Δ h( x) ( xk － x) + 1 2 2 Δ h( x) ( xk － x) 2 = h( x) + 1 2 2 Δ h( x) ‖xk － x‖2 2 ． g( x，k) 在 xk 点的 Taylor 展开式如下: g( x，k) = g( xk ，k) + Δ g( xk ，k) ( x － xk ) + 1 2 2 Δ g( xk ，k) ( x － xk ) 2 = g( xk ，k) + 1 2 2 Δ g( xk ，k) ‖x － xk ‖2 2 ．从 h( x) 和 g( x，k) 的强凸性，可以得到 h( xk ) － h( x) ≥ 1 2 ‖xk － x‖2 2 和 g( x，k) － g( xk ，k) ≥ 1 2 ‖x － xk ‖2 2 ．则 ‖xk － x‖2 2≤［g( x，k) － h( x) ］－［g( xk ，k) － h( xk ) ］≤ ［g( x，k) － h( x) ］= 1 2 ‖S( Ax － b，k) ‖2 2 － 1 2 ‖( Ax － b) + ‖2 2 = ( 1 2 ∑ m i = 1 ［S( Ax － b，k) 2 i － ( ( Ax － b) i ) 2 + ］ ) ) ．应用定理 4 的结论，结论( 2) 得证． ( 3) 由结论( 2) 可知limk→∞‖xk － x‖2 2 = 0，则结论 ( 3) 成立．定理 7 设 A∈Rm × n ，b∈Rm × 1 ，实函数 h( x) ∶ Rn →R，g( x，k) ∶ Rn × N→R 定义如下: h( x) = 1 2 ‖( Ax + b) + ‖2 2 + 1 2 ‖x‖2 2， g( x，k) = 1 2 ‖f( Ax － b，k) ‖2 2 + 1 2 ‖x‖2 2 ．式中，f( x，k) 取为式( 12) ．则: ( 1) 优化问题 minh( x) 存在唯一解，记为 x，优化问题 ming( x，k) 存在唯一解，记为 xk ; ( 2) 对任意 k ＞ 1，有‖xk － x‖2 ≤ m 116k 2，其中 m 为训练样本的个数; ( 3) limk→∞ xk = x．证明过程与定理 6 类似． 3. 2 非线性核函数的基于样条函数的支持向量机模型在前面的讨论中，通过建立一个线性分离超平面，来解决线性可分或者近似线性可分的问题．下面利用核函数( kernel function) 来建立一个非线性分离超平面，用来解决非线性分类问题．现在用广义支持向量机( GSVM) 模型，使用一个完全任意核来产生非线性分类超平面［10］．广义支持向量机使用一个广义核 K( A，AT ) 来解决下面的数学规划问题: min u，γ，y veT y + f( u) ， s． t． D( K( A，AT ) Du － eγ) + y≥e，y≥0 { ． ( 19) 这里 f( u) 是 Rm 上的某个凸函数，v ＞ 0 是惩罚函数，u 是一个参数，非线性分类超平面为 K( xT ，AT ) Du = γ． ( 20) 令 K ( A，AT ) = AAT ，ω = AT Du 和 f ( u) = 1 2 uT DAAT Du，则可以得到式( 1) ．对上述最优化问题进行改进，可以得到下面的规划问题 min ( u，γ，y) ∈Rn + m + 1 v 2 yT y + 1 2 ( uT u + γ2 ) ， s． t． D( K( A，AT ) Du － eγ) + y≥e，y≥0 { ． ( 21) 于是，按照对于线性模型的讨论方法，可以得到带有非线性核函数 K( A，AT ) 的基于样条函数的支持向量机模型: min u，γ v 2 ‖S( e － D( K( A，AT ) Du － eγ) ，k) ‖2 2 + ·724·

第6期张晓丹等：基于样条函数的光滑支持向量机模型 ·725· (uy). (22) x+》=x+d因，转(2). 这里，K(A,A)是从Rx x R×m到Rmxm的映 4结论射.这个模型对于任意的核函数，仍然保持了强凸应用广义三弯矩法，构造了满足三阶光滑条件性和光滑性，所以关于线性模型收敛性的讨论在这的五次样条光滑函数和满足四阶光滑条件的七次样里仍然成立.因此，可以应用Newton-Armijo方法直条光滑函数：同时，证明了三次和五次样条函数的唯接求解一存在性.此外，本文证明了五次和七次样条函数 3.3数值试验算法的逼近精度高于可比条件下己有的各种光滑函数. 由定理6和7可知，基于样条函数的支持向量同时，基于这两个样条函数的支持向量机模型的解机模型的最优解，在光滑因子k趋于正无穷时收敛的收敛精准度也高于以往的光滑支持向量机模型. 于原来模型的最优解.但是，实际求解基于样条函可见，基于样条函数的光滑支持向量机方法是光滑数的支持向量机模型时，k的取值却是有限的.那支持向量机领域一种高效的方法么，k究竞应该取多少才能满足问题求解的需要呢？为此，本文讨论最优光滑因子的取值问题参考文献定义2)对任意给定的m个训练样本，任意 [Vapnik V N.The Nature of Statistical Learning Theory.New 给定模型最优解与原来模型最优解x逼近精度 York:Springer Verlag,1995 Platt J.Sequential minimal optimization:a fast algorithm for train- e,即‖x-x‖2≤e,称使得该式成立的最小的光滑 ing support vector machines /Advances in Kernel Methods-Support 因子k为最优光滑因子，记为kopt(m,s). Vector Learning.Massachusetts:MIT Press,1999:185 由上述定义知，只要模型中的k≥kopt(m,s), B3]Mangasarian O L,Musicant D R.Making largescale support vec- 则求解的结果就能满足给定的精度要求 tor machine leaming practical /Adrances in Kernel Methods-Sup- 定理8对于任意给定的m个训练样本，任意 port Vector Learning.Massachusetts:MIT Press,1999:169 [4] Mangasarian O L,Musicant D R.Successive overrelaxation for 给定的光滑模型与原模型解的逼近精度e,kopt的 support vector machines.IEEE Trans Neural Networks,1999,10 取值满足如下条件： (5):1032 (1)对于式(11)的五次样条光滑函数，kopt= ⑤ Suykens J A K,Vandewalle J.Least squares support vector ma- 0.03333m chine classifiers.Neural Process Lett,1999.9(3):293 [6] 28 Lee YJ.Mangasarian O L.SSVM:a smooth support vector ma- chine for classification.Comput Optim Appl,2001,20(1):5 (2)对于式(12)的七次样条光滑函数，kopt= 7]Xiong J Z,Hu J L,Yuan H Q,et al.Research on a new class of 0.01724m functions for smoothing support vector machines.Acta Electron 28 Sin,2007,35(2):366 对于本文所采用的样条光滑函数，都能保证优 (熊金志，胡金莲，袁华强，等.一类光滑支持向量机新函数的化问题的目标函数至少具有二阶光滑性，因此可以研究.电子学报，2007,35(2)：366) 8] 采用Newton-Armijo算法，即下降方向采用Newton Xiong JZ,Yuan H Q,Peng H.A general formulation of polyno- mial smooth support vector machines.J Comput Res Derelop, 方向，步长采用Armijo准则确定 2008,45(8):1346 算法步骤如下： (熊金志，袁华强，彭宏.多项式光滑的支持向量机一般模型研 (1)给定初始点x0及s1>0,令迭代步骤究.计算机研究与发展，2008,45(8)：1346) ] Yuan Y,Fan W,Pu D.Spline function smooth support vector ma- k=0: chine for classification.J Ind Manage Optim,2007,3(3):529 (2)令k=k+1,计算g,若Ig因Ⅱ≤E1,则 [10]Mangasarian O L.Generalized support vector machines /Ad- 取x°=x,停止；否则转(3)： rances in Large Margin Classifiers.Massachusetts:MIT Press, (3)计算G:=G(x因)，从方程Gd=-g 2000:135 中求解下降方向d因： [11]Yuan Y B,Yan J,Xu C X.Polynomial smooth support vector machine.Chin J Comput,2005,28(1):9 (4)采用Am时jo准则计算步长a4: (袁玉波，严杰，徐成贤.多项式光滑的支撑向量机.计算机 (5)若a4<10-2,则取x=x,停止：否则令学报，2005,28(1)：9)

第 6 期张晓丹等: 基于样条函数的光滑支持向量机模型 1 2 ( uT u + γ2 ) ． ( 22) 这里，K( A，AT ) 是从 Rm × n × Rn × m到 Rm × m的映射．这个模型对于任意的核函数，仍然保持了强凸性和光滑性，所以关于线性模型收敛性的讨论在这里仍然成立．因此，可以应用 Newton-Armijo 方法直接求解． 3. 3 数值试验算法由定理 6 和 7 可知，基于样条函数的支持向量机模型的最优解，在光滑因子 k 趋于正无穷时收敛于原来模型的最优解．但是，实际求解基于样条函数的支持向量机模型时，k 的取值却是有限的．那么，k 究竟应该取多少才能满足问题求解的需要呢? 为此，本文讨论最优光滑因子的取值问题．定义 2 ［11］对任意给定的 m 个训练样本，任意给定模型最优解 xk 与原来模型最优解 x 逼近精度 ε，即‖xk － x‖2 ≤ε，称使得该式成立的最小的光滑因子 k 为最优光滑因子，记为 kopt( m，ε) ．由上述定义知，只要模型中的 k≥kopt( m，ε) ，则求解的结果就能满足给定的精度要求．定理 8 对于任意给定的 m 个训练样本，任意给定的光滑模型与原模型解的逼近精度 ε，kopt 的取值满足如下条件: ( 1) 对于式( 11) 的五次样条光滑函数，kopt = 0. 033 33m 槡 2ε ; ( 2) 对于式( 12) 的七次样条光滑函数，kopt = 0. 017 24m 槡 2ε ．对于本文所采用的样条光滑函数，都能保证优化问题的目标函数至少具有二阶光滑性，因此可以采用 Newton-Armijo ［6］算法，即下降方向采用 Newton 方向，步长采用 Armijo 准则确定．算法步骤如下: ( 1) 给定初始点 x( 1) 及 ε1 ＞ 0，令迭代步骤 k = 0; ( 2) 令 k = k + 1，计算 g( k) ，若‖g( k) ‖≤ε1，则取 x* = x( k) ，停止; 否则转( 3) ; ( 3) 计算 Gk = G( x( k) ) ，从方程 Gkd( k) = － gk 中求解下降方向 d( k) ; ( 4) 采用 Armijo 准则计算步长 αk ; ( 5) 若 αk ＜ 10 － 12 ，则取 x* = x( k) ，停止; 否则令 x( k + 1) = x( k) + αkd( k) ，转( 2) ． 4 结论应用广义三弯矩法，构造了满足三阶光滑条件的五次样条光滑函数和满足四阶光滑条件的七次样条光滑函数; 同时，证明了三次和五次样条函数的唯一存在性．此外，本文证明了五次和七次样条函数的逼近精度高于可比条件下已有的各种光滑函数．同时，基于这两个样条函数的支持向量机模型的解的收敛精准度也高于以往的光滑支持向量机模型．可见，基于样条函数的光滑支持向量机方法是光滑支持向量机领域一种高效的方法．参考文献［1］ Vapnik V N． The Nature of Statistical Learning Theory． New York: Springer Verlag，1995 ［2］ Platt J． Sequential minimal optimization: a fast algorithm for training support vector machines / / Advances in Kernel Methods-Support Vector Learning． Massachusetts: MIT Press，1999: 185 ［3］ Mangasarian O L，Musicant D R． Making large-scale support vector machine learning practical / / Advances in Kernel Methods-Support Vector Learning． Massachusetts: MIT Press，1999: 169 ［4］ Mangasarian O L，Musicant D R． Successive overrelaxation for support vector machines． IEEE Trans Neural Networks，1999，10 ( 5) : 1032 ［5］ Suykens J A K，Vandewalle J． Least squares support vector machine classifiers． Neural Process Lett，1999，9( 3) : 293 ［6］ Lee Y J，Mangasarian O L． SSVM: a smooth support vector machine for classification． Comput Optim Appl，2001，20( 1) : 5 ［7］ Xiong J Z，Hu J L，Yuan H Q，et al． Research on a new class of functions for smoothing support vector machines． Acta Electron Sin，2007，35( 2) : 366 ( 熊金志，胡金莲，袁华强，等．一类光滑支持向量机新函数的研究．电子学报，2007，35( 2) : 366) ［8］ Xiong J Z，Yuan H Q，Peng H． A general formulation of polynomial smooth support vector machines． J Comput Res Develop， 2008，45( 8) : 1346 ( 熊金志，袁华强，彭宏．多项式光滑的支持向量机一般模型研究．计算机研究与发展，2008，45( 8) : 1346) ［9］ Yuan Y，Fan W，Pu D． Spline function smooth support vector machine for classification． J Ind Manage Optim，2007，3( 3) : 529 ［10］ Mangasarian O L． Generalized support vector machines / / Advances in Large Margin Classifiers． Massachusetts: MIT Press， 2000: 135 ［11］ Yuan Y B，Yan J，Xu C X． Polynomial smooth support vector machine． Chin J Comput，2005，28( 1) : 9 ( 袁玉波，严杰，徐成贤．多项式光滑的支撑向量机．计算机学报，2005，28( 1) : 9) ·725·

点击进入文档下载页（PDF格式）

已到末页，全文结束

点击下载（PDF格式）

浏览记录

基于样条函数的光滑支持向量机模型