基于样条函数的光滑支持向量机模型

D0L:10.13374.issn1001-053x.2012.06.019 第34卷第6期 北京科技大学学报 Vol.34 No.6 2012年6月 Journal of University of Science and Technology Beijing Jun.2012 基于样条函数的光滑支持向量机模型 张晓丹 邵帅刘钦圣 北京科技大学数理学院，北京100083 ☒通信作者，Emai:bkdzxd(@163.com 摘要应用光滑函数改进支持向量机模型，得到无约束条件、可微的二次规划问题，从而可以采用快速的最优化算法求解 光滑支持向量机模型.提出了一种广义三弯矩方法，用这个方法构造出新的五次样条光滑函数和七次样条光滑函数.证明了 上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数：基于上述两个样条函数的光滑支持向量机模型的收敛精度 也高于已有的各种光滑支持向量机模型. 关键词支持向量机：样条：分类：数值方法收敛性 分类号TP181 Smooth support vector machine model based on spline functions ZHANG Xiao-dan,SHAO Shuai,LIU Qin-sheng School of Mathematics and Physics,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:bkdzxd@163.com ABSTRACT Differentiable and unconstrained quadratic programming can be constructed by improving a support vector machine (SVM)model using a smooth function,and thus a lot of fast optimization algorithms can be applied to solve the smooth SVM model.A new five-order spline function and a new seven-order spline function were constructed by a general three-moment method.These two spline functions are proved that their approximation accuracy is better than any other smooth functions,and the convergence accuracy of the spline function SVM model based on the five-order spline or seven-order spline is higher than any other smooth SVM models. KEY WORDS support vector machines:splines:classification:convergence of numerical methods 支持向量机(support vector machine,SVM)是在 的部分，首次构造了用于分类问题的光滑支持向量 统计学习理论①基础上发展起来的一种新的机器 机模型(smooth support vector machine,SSVM).此 学习方法.它可以自动寻找对分类有较好区分能力 后，学者们不断地寻找新的光滑函数，以提高光滑函 的支持向量，且由其构成的分类器还可以最大化类 数的逼近精度以及光滑支持向量机模型的解与最优 与类之间的间隔，在解决小样本、非线性和高维数的 解的逼近精度.目前比较完善的方法是熊金志 模式识别问题中表现出了许多特有的优势.学者们 等-则提出的多项式光滑的支持向量机一般模型 先后提出了SMO算法a、SVMlight算法、SOR算 (polynomial smooth support vector machine,PSSVM). 法W及LS-SVM囚等算法改进支持向量机模型的形 2007年，袁玉波等构造了一个满足二阶光滑条 式，简化计算过程，以便求解支持向量机问题.由于 件的三次样条函数作为光滑函数，提出了三次样条 无约束条件的支持向量机模型的目标函数是不光滑 函数光滑的支持向量机模型回，其逼近精度和数值 函数，因此许多经典的快速算法不能用来求解支持 试验结果比以往的光滑支持向量机模型有了进一步 向量机的优化问题.2001年，Lee和Mangasarian因 的改善。同时，作为光滑支持向量机的新的研究方 使用已有的光滑技术，采用Sigmoid函数的积分函 向，样条函数光滑支持向量机的研究处于起步阶段， 数作为光滑函数，来逼近支持向量机模型中不可微 有三个主要问题需要解决：(1)是否存在其他形式 收稿日期：20110501

第 34 卷 第 6 期 2012 年 6 月 北京科技大学学报 Journal of University of Science and Technology Beijing Vol． 34 No． 6 Jun． 2012 基于样条函数的光滑支持向量机模型 张晓丹 邵 帅 刘钦圣 北京科技大学数理学院，北京 100083 通信作者，E-mail: bkdzxd@ 163． com 摘 要 应用光滑函数改进支持向量机模型，得到无约束条件、可微的二次规划问题，从而可以采用快速的最优化算法求解 光滑支持向量机模型． 提出了一种广义三弯矩方法，用这个方法构造出新的五次样条光滑函数和七次样条光滑函数． 证明了 上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数; 基于上述两个样条函数的光滑支持向量机模型的收敛精度 也高于已有的各种光滑支持向量机模型． 关键词 支持向量机; 样条; 分类; 数值方法收敛性 分类号 TP181 Smooth support vector machine model based on spline functions ZHANG Xiao-dan ，SHAO Shuai，LIU Qin-sheng School of Mathematics and Physics，University of Science and Technology Beijing，Beijing 100083，China Corresponding author，E-mail: bkdzxd@ 163． com ABSTRACT Differentiable and unconstrained quadratic programming can be constructed by improving a support vector machine ( SVM) model using a smooth function，and thus a lot of fast optimization algorithms can be applied to solve the smooth SVM model． A new five-order spline function and a new seven-order spline function were constructed by a general three-moment method． These two spline functions are proved that their approximation accuracy is better than any other smooth functions，and the convergence accuracy of the spline function SVM model based on the five-order spline or seven-order spline is higher than any other smooth SVM models． KEY WORDS support vector machines; splines; classification; convergence of numerical methods 收稿日期: 2011--05--01 支持向量机( support vector machine，SVM) 是在 统计学习理论［1］基础上发展起来的一种新的机器 学习方法． 它可以自动寻找对分类有较好区分能力 的支持向量，且由其构成的分类器还可以最大化类 与类之间的间隔，在解决小样本、非线性和高维数的 模式识别问题中表现出了许多特有的优势． 学者们 先后提出了 SMO 算法［2］、SVMlight 算法［3］、SOR 算 法［4］及 LS--SVM［5］等算法改进支持向量机模型的形 式，简化计算过程，以便求解支持向量机问题． 由于 无约束条件的支持向量机模型的目标函数是不光滑 函数，因此许多经典的快速算法不能用来求解支持 向量机的优化问题． 2001 年，Lee 和 Mangasarian ［6］ 使用已有的光滑技术，采用 Sigmoid 函数的积分函 数作为光滑函数，来逼近支持向量机模型中不可微 的部分，首次构造了用于分类问题的光滑支持向量 机模型( smooth support vector machine，SSVM) ． 此 后，学者们不断地寻找新的光滑函数，以提高光滑函 数的逼近精度以及光滑支持向量机模型的解与最优 解的 逼 近 精 度． 目前比较完善的方法是熊金志 等［7 － 8］提出的多项式光滑的支持向量机一般模型 ( polynomial smooth support vector machine，PSSVM) ． 2007 年，袁玉波等构造了一个满足二阶光滑条 件的三次样条函数作为光滑函数，提出了三次样条 函数光滑的支持向量机模型［9］，其逼近精度和数值 试验结果比以往的光滑支持向量机模型有了进一步 的改善． 同时，作为光滑支持向量机的新的研究方 向，样条函数光滑支持向量机的研究处于起步阶段， 有三个主要问题需要解决: ( 1) 是否存在其他形式 DOI:10.13374/j.issn1001-053x.2012.06.019

第6期 张晓丹等：基于样条函数的光滑支持向量机模型 ·719· 的、性能更好的样条光滑函数：(2)如果存在，如何 这种修正对原问题的影响很小，然而这种修正 寻找和构造这些样条光滑函数：(3)以这些样条光 却能导出目标函数的强凸性等优良特性四，在 滑函数为基础构造的样条函数光滑支持向量机模型 式(3)中，令松弛变量y为如下形式： 的解的收敛性、分类性能如何.本文将对以上几个 y=(e-D(Aw-ey)）+· (4) 问题进行一些探讨.通过广义三弯矩法构造新的样 这里，(·)+为正号函数，(x),:=((x)+, 条函数作为光滑函数，在此基础上建立基于样条函 (x2)+,…,(xm,)T,其中(x),=max{0,x:},i=1, 数的支持向量机模型(spline function smooth support 2,,m.将式(3)目标函数中的y用式(4)代替，就 vector machine,SPSSVM),并对光滑函数和模型的 可以得到无约束的优化问题： 性能进行研究. (e-D(do-ey).+(oo+y). 1光滑支持向量机模型 (5) 式中，(e-D(Aw-ey))+不可微，因此目标函数不 给定R"中m个点a1,a2,…,am,用矩阵Amxn表 光滑.所以，需要引入光滑的函数对正号函数部分 示，目标是将a1,a2,…,am分为A+和A两类.若 进行逼近，得到目标函数可微的二次优化问题 a:属于类A*,记为1；若a属于类Aˉ，记为-1.则 正号函数和一般光滑函数的图像如图2所示 可以用一个m×m的对角阵D来表示分类情况，其 中，D的对角元素为1或-1.此问题标准的支持向 量机模型为：对于某个v>0, 1 veyw (w.y.y)cRa+1om (1) s.t.D(Aw-ey）+y≥e,y≥0. 在这个优化问题中，ω是如下的边界面的法向量： [xω-y=1, (2) Ix"@-y=-1. 图2光滑函数（虚线）在区间[-大]逼近x, 式中：y决定了边界面到原点的距离；e为分量全部 为1的列向量：y为松弛变量，当类A*和类Aˉ是严 g2 wh fnc inae,n【-大，大] 格线性可分时，y=0;xw-y=1和xw-y=-1 Lee和Mangasarian提出使用Sigmoid函数的 分别为类A*和类Aˉ的边界，此时分类的超平面为 积分函数 xw=y,该平面处于式(2)描述的两个水平面之间， 如图1所示.如果类A+和类A不是严格线性可分 p,)=x+g1+e),k>0 (6) 的，则有：(1)若x=A:,d:=1,则xw-y+y:≥1； 作为光滑函数逼近式(5)中的正号函数，得到光滑 支持向量机模型： (2)若xT=A,d=-1,则xw-y+y:≤-1. minvllp(e-D(Ao-ey),k i(ww+y). (7) xw-y+1 在文献9]中，采用了具有二阶光滑性的三次 样条函数作为光滑函数， Axa-Y-】 ro=y S (x,k)= 分类超平面 3+2+L1 图1线性可分支持向量机分类示意图 6 2x +2+6 、1 ≤x<0, (8) Fig.1 Strictly linearly separable SVM k2 6 + 2 11 1 +宁+0≤≤石 对式(1)的标准目标函数进行修正，可以得到 得到基于三次样条函数的光滑支持向量机模型： 如下的修正模型： ty). minl(e-D(Aw-ey）,)I+ (3) s.t.D(Aw-ey）+y≥e,y≥0. i0w+y). (9)

第 6 期 张晓丹等: 基于样条函数的光滑支持向量机模型 的、性能更好的样条光滑函数; ( 2) 如果存在，如何 寻找和构造这些样条光滑函数; ( 3) 以这些样条光 滑函数为基础构造的样条函数光滑支持向量机模型 的解的收敛性、分类性能如何． 本文将对以上几个 问题进行一些探讨． 通过广义三弯矩法构造新的样 条函数作为光滑函数，在此基础上建立基于样条函 数的支持向量机模型( spline function smooth support vector machine，SPSSVM) ，并对光滑函数和模型的 性能进行研究． 1 光滑支持向量机模型 给定 Rn 中 m 个点 a1，a2，…，am，用矩阵 Am × n表 示，目标是将 a1，a2，…，am 分为 A + 和 A － 两类． 若 ai 属于类 A + ，记为 1; 若 ai 属于类 A － ，记为 － 1． 则 可以用一个 m × m 的对角阵 D 来表示分类情况，其 中，D 的对角元素为 1 或 － 1． 此问题标准的支持向 量机模型为: 对于某个 υ ＞ 0， min ( ω，γ，y) ∈Rn + 1 + m υeT y + 1 2 ωT ω， s． t． D( Aω － eγ) + y≥e，y≥0 { ． ( 1) 在这个优化问题中，ω 是如下的边界面的法向量: xT ω － γ = 1， xT { ω － γ = － 1． ( 2) 式中: γ 决定了边界面到原点的距离; e 为分量全部 为 1 的列向量; y 为松弛变量，当类 A + 和类 A － 是严 格线性可分时，y = 0; xT ω － γ = 1 和 xT ω － γ = － 1 分别为类 A + 和类 A － 的边界，此时分类的超平面为 xT ω = γ，该平面处于式( 2) 描述的两个水平面之间， 如图 1 所示． 如果类 A + 和类 A － 不是严格线性可分 的，则有: ( 1) 若 xT = Ai，dii = 1，则 xT ω － γ + yi≥1; ( 2) 若 xT = Ai，dii = － 1，则 xT ω － γ + yi≤ － 1． 图 1 线性可分支持向量机分类示意图 Fig． 1 Strictly linearly separable SVM 对式( 1) 的标准目标函数进行修正，可以得到 如下的修正模型: min ( ω，γ，y) ∈Rn + m + 1 υ 2 yT y + 1 2 ( ωT ω + γ2 ) ， s． t． D( Aω － eγ) + y≥e，y≥0 { ． ( 3) 这种修正对原问题的影响很小，然而这种修正 却能导 出 目 标 函 数 的 强 凸 性 等 优 良 特 性［4］． 在 式( 3) 中，令松弛变量 y 为如下形式: y = ( e － D( Aω － eγ) ) + ． ( 4) 这里，( ·) + 为 正 号 函 数，( x) + ∶ = ( ( x1 ) + ， ( x2 ) + ，…，( xm ) + ) T ，其中( xi ) + = max{ 0，xi} ，i = 1， 2，…，m． 将式( 3) 目标函数中的 y 用式( 4) 代替，就 可以得到无约束的优化问题: min ω，γ 1 2 υ‖( e － D( Aω － eγ) ) + ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 5) 式中，( e － D( Aω － eγ) ) + 不可微，因此目标函数不 光滑． 所以，需要引入光滑的函数对正号函数部分 进行逼近，得到目标函数可微的二次优化问题． 正号函数和一般光滑函数的图像如图 2 所示． 图 2 光滑函数( 虚线) 在区间 [ － 1 k ，1 k ] 逼近 x + Fig． 2 Smooth function approximates x + [ in － 1 k ，1 k ] Lee 和 Mangasarian ［6］提出使用 Sigmoid 函数的 积分函数 p( x，k) = x + 1 k lg( 1 + e － kx ) ，k ＞ 0 ( 6) 作为光滑函数逼近式( 5) 中的正号函数，得到光滑 支持向量机模型: min ω，γ 1 2 υ‖p( e － D( Aω － eγ) ，k) ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 7) 在文献［9］中，采用了具有二阶光滑性的三次 样条函数作为光滑函数， S1 ( x，k) = k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， － 1 k ≤x ＜ 0， － k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， 0≤x≤ 1 k { ， ( 8) 得到基于三次样条函数的光滑支持向量机模型: min ω，γ 1 2 υ‖S1 ( e － D( Aω － eγ) ，k) ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 9) ·719·

·720· 北京科技大学学报 第34卷 式中，k>1. 四阶样条光滑函数(m=4) 2样条光滑函数的构造与分析 S3(x,k)= 2.1广义三弯矩法构造样条光滑函数 x33-+2k2 4t 2t、 定义1设(·)，为正号函数，k>1,在区间 13 1 2+28K' -下≤x0, (2)m=3时，采用构造式的证明方法.本文给 出了一种广义三弯矩法来证明此结论. s(-)=0: 设函数S(x)为满足三阶光滑条件的五次样条 2)s() =0,d=2,…,m,k>0, 函数以s)在点(-0小、0，)和（六） 处的四阶导数值S④(x,)=M,(i=0,1,2)为未知量 s()=1s)-=: 表示5).其中，气=-太=0≤= .由于 (3)S8(x1+0)=S®(x1-0),d=1,2,…,m, S(x1+0)=S1(x1-0),x1=0. s)为在区间-太0]和[0，]上的五次多项 则称函数S(x)满足m阶光滑条件 式，故s(x)在每个区间上都可以表示为线性 定理1在区间[-]上，选取(-六 函数. 0)小，0)和（仁）为插值点，其中，为)轴正 其中，在区间[-0]中的部分，可得 半轴上某一点，k>1.对于给定的正整数m(m=2, S0国=+ (x-x= 3,4),存在逼近正号函数x+,且满足定义1的m阶 ho h 光滑样条函数，形式如下. -c+M5(c+) 二阶光滑样条函数(m=2) S1(x,k)= 对该式逐次积分可得 2 k -x<0: Sg(x)+a1=- + 2*+6 “些✉+ 2 3 k 2 6t°+ 11 1 2+2+6 0≤x≤k (10) 国+答aa- 三阶光滑样条函数(m=3) S2(x,k)= 紫++ 5+ ++ 1,3 t+ 根据(-0)点处的三阶光滑条件，可解得 10 2 20k 、1 1×M。 M。2M。 ≤x<0: 41=-2k s-,,2323!/2’3s (11) 4 5k34 1 M。 4M。 10 4x+ 2t￥ 2t+ 20k 0≤x≤k 同理，对于区何[0，]上的部分，可得

北 京 科 技 大 学 学 报 第 34 卷 式中，k ＞ 1． 2 样条光滑函数的构造与分析 2. 1 广义三弯矩法构造样条光滑函数 定义 1 设( ·) + 为正号函数，k ＞ 1， [ 在区间 － 1 k ，1 ] k 上，以 ( － 1 k ，0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 为 插值点，y1 为 y 轴上的某一点，若样条光滑函数 S( x) = S0 ( x) ， － 1 k ≤x ＜ 0 S1 ( x) ， 0≤x≤ { 1 k 逼近正号函数时，满足如下条件: ( 1) S( d ( ) － 1 ) k = 0，d = 1，2，…，m，k ＞ 0， ( S － 1 ) k = 0; ( 2) S( d ( ) 1 ) k = 0，d = 2，…，m，k ＞ 0， ( S' 1 ) k = 1， ( S 1 ) k = 1 k ; ( 3) S( d) 0 ( x1 + 0) = S( d) 1 ( x1 － 0) ，d = 1，2，…，m， S0 ( x1 + 0) = S1 ( x1 － 0) ，x1 = 0． 则称函数 S( x) 满足 m 阶光滑条件． 定理 1 在区间 [ － 1 k ，1 ] k 上，选取 ( － 1 k ， ) 0 、( 0，y1 ) 和 ( 1 k ，1 ) k 为插值点，其中 y1 为 y 轴正 半轴上某一点，k ＞ 1． 对于给定的正整数 m( m = 2， 3，4) ，存在逼近正号函数 x + ，且满足定义 1 的 m 阶 光滑样条函数，形式如下． 二阶光滑样条函数( m = 2) S1 ( x，k) = k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， － 1 k ≤x ＜ 0; － k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， 0≤x≤ 1 k { ． ( 10) 三阶光滑样条函数( m = 3) S2 ( x，k) = － k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ， － 1 k ≤x ＜ 0; k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ， 0≤x≤ 1 k            ． ( 11) 四阶样条光滑函数( m = 4) S3 ( x，k) = － k 6 7 x 7 － 3k 5 4 x 6 － 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ， － 1 k ≤x ＜ 0; k 6 7 x 7 － 3k 5 4 x 6 + 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ， 0≤x≤ 1 k            ． ( 12) 证明 ( 1) m = 2 时，由文献［9］的结论，显然成立，且 应用下面的广义三弯矩法可以求出式( 10) ． ( 2) m = 3 时，采用构造式的证明方法． 本文给 出了一种广义三弯矩法来证明此结论． 设函数 S( x) 为满足三阶光滑条件的五次样条 函数． 以 S( x) 在点 ( － 1 k ， ) 0 、( 0，y1 ) 和 ( 1 k ，1 ) k 处的四阶导数值 S( 4) ( xi ) = Mi ( i = 0，1，2) 为未知量 表示 S( x) ． 其中，x1 = － 1 k ，x2 = 0，x3 = 1 k ． 由于 S( x) 为在区间 [ － 1 k ， ] 0 和 [ 0，1 ] k 上的五次多项 式，故 S( 4) ( x) 在每个区间上都可以表示为线性 函数． 其中，在区间 [ － 1 k ，0 ] 中的部分，可得 S( 4) 0 ( x) = M0 ( x1 － x) h0 + M1 ( x － x0 ) h1 = － M0 kx + M1 ( k x + 1 ) k ， 对该式逐次积分可得 S0 ( x) + a1 = － M0 kx 2 2 + M1 k ( 2 x + 1 ) k 2 ，  S0 ( x) + a1 x 3 3! + a2 x 2 2 + a3 x + a4 = － M0 k 5 5! + M1 k 5 ( ! x + 1 ) k 5 ． 根据 ( － 1 k ，0 ) 点处的三阶光滑条件，可解得 a1 = － M0 2k = － 1 × M0 2! k ，a2 = － M0 3k 2 = － 2M0 3! k 2，a3 = － M0 8k 3 = － 3M0 4! k 3，a4 = － M0 30k 4 = － 4M0 5! k 2 ． 同理，对于区间 [ 0，1 ] k 上的部分，可得 ·720·

第6期 张晓丹等：基于样条函数的光滑支持向量机模型 ·721· 4 2 Mc+M,(卡-x小， 3 13 1 k+x+28 -≤x1,满足二阶光滑条件的三次样条 阵方程： 函数是唯一存在的. 「1 0 1 证明采用反证法 M 8K3 12k3 8k3 假设在区间[-太]上存在另一个三次样 1 2k 2k 条函数，是以(-冬0）、(0)和()为插值 方程系数矩阵的行列式不为0，因此，此矩阵方程有 点、且对正号函数的逼近满足二阶光滑条件 唯一解最后，可求得具有三阶光滑的五次样条函 数的形式为 设力=neR.显然，满足二阶光滑条件的 1 3 三次样条函数，必然满足三次样条插值函数的自然 10 4x+ 2x+2x+ 20k 1 边界条件.设点(-0）、0，)和（片）处的 -F≤x<0; S2(x,k)= 二阶导数值为S”(x)=M(i=0,1,2).其中，x1= k 4 x+ 1 3 +2+20k 1 2 斤=0，名=下 0≤x≤下 1 根据求解带有自然边界条件的三次样条插值函 (3)m=4时.在定义1的基础上，加上两个边 数的三弯矩法，得M。=0,M2=0.2M1=d1 界点的五阶光滑条件，采用广义三弯矩法.设函数 d=6时o]=3k1-月） S(x)为满足四阶光滑条件的七次样条函数.以 则 s(在点(-0)小0)和()处的六阶 M=2(1-是) 导数值S6(x:)=M:(i=0,1,2)为未知量表示 S(x),并通过点(0，y1)处的光滑条件，可以证明存 在如下形式的满足四阶光滑条件(m=4)的七次样 条光滑函数：

第 6 期 张晓丹等: 基于样条函数的光滑支持向量机模型 S( 4) 1 ( x) = M1 ( x2 － x) h1 + M2 ( x － x1 ) h2 = M2 kx + M1 ( k 1 k － ) x ， 对该式逐次积分，有 S1 ( x) + b1 = M2 kx 2 2 － M1 k ( 2 1 k － ) x 2 ，  S1 ( x) + b1 x 3 3! + b2 x 2 2 + b3 x + b4 = M2 k 5 5! + M1 k 5 ( ! 1 k － ) x 5 ． 根据点 ( 1 k ，1 ) k 处的光滑条件，可以求得 b1 = M2 2k = 1 × M2 2! k ，b2 = － M2 3k 2 = － 2M2 3! k 2， b3 = M2 8k 3 － 1 = － 3M2 4! k 3 － 1，b4 = － M2 30k 4 = － 4M2 5! k 2 ． 这样，就得出了带有参数 M0、M1 和 M2 的五次样条 光滑函数． 再应用点( 0，y1 ) 处的光滑条件，可得出如下矩 阵方程: 1 0 1 1 8k 3 － 1 12k 3 － 1 8k 3 1 2k 1 k － 1 2              k  M0 M1 M          2  = 0 － 1        0  ． 方程系数矩阵的行列式不为 0，因此，此矩阵方程有 唯一解． 最后，可求得具有三阶光滑的五次样条函 数的形式为 S2 ( x，k) = － k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ， － 1 k ≤x ＜ 0; k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ， 0≤x≤ 1 k            ． ( 3) m = 4 时． 在定义 1 的基础上，加上两个边 界点的五阶光滑条件，采用广义三弯矩法． 设函数 S( x) 为满足四阶光滑条件的七次样条函数． 以 S( x) 在点 ( － 1 k ， ) 0 、( 0，y1 ) 和 ( 1 k ，1 ) k 处的六阶 导数值 S( 6) ( xi ) = Mi ( i = 0，1，2 ) 为 未 知 量 表 示 S( x) ，并通过点( 0，y1 ) 处的光滑条件，可以证明存 在如下形式的满足四阶光滑条件( m = 4) 的七次样 条光滑函数: S3 ( x，k) = － k 6 7 x 7 － 3k 5 4 x 6 － 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ， － 1 k ≤x ＜ 0; k 6 7 x 7 － 3k 5 4 x 6 + 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ， 0≤x≤ 1 k            ． 2. 2 样条光滑函数的性质分析 前面已经说明通过广义三弯矩法可以求出三次 样条光滑函数，并且构造了满足三阶光滑条件的五 次样条函数和满足四阶光滑条件的七次样条函数． 那么，满足定义 1 条件的二阶光滑、三阶光滑和四阶 光滑的样条函数是不是唯一存在的? 这个问题对研 究样条光滑函数的进一步推广是十分重要的，本节 重点讨论这个问题． 定理 2 在区间 [ － 1 k ，1 ] k 上，选取 ( － 1 k ， 0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 为插值点，其中 y1 为 y 轴正 半轴上某一点，k ＞ 1，满足二阶光滑条件的三次样条 函数是唯一存在的． 证明 采用反证法． 假设在区间 [ － 1 k ，1 ] k 上存在另一个三次样 条函数，是以 ( － 1 k ，0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 为插值 点、且对正号函数的逼近满足二阶光滑条件． 设 y1 = 1 nk ，n∈R + ． 显然，满足二阶光滑条件的 三次样条函数，必然满足三次样条插值函数的自然 边界条件． 设点 ( － 1 k ，0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 处的 二阶导数值为 S″( xi ) = Mi ( i = 0，1，2) ． 其中，x1 = － 1 k ，x2 = 0，x3 = 1 k ． 根据求解带有自然边界条件的三次样条插值函 数的三弯矩法，得 M0 = 0，M2 = 0． 2M1 = d1 ． d1 = 6f［x0，x1，x2］= 3 ( k 1 － 2 ) n ， 则 M1 = 3 2 ( k 1 － 2 ) n ． S0 ( x) = 3 2 ( k 1 － 2 ) ( n x + 1 ) k 3 6 k + ·721·

·722· 北京科技大学学报 第34卷 可以得到满足定义1的七次样条函数.因此，满足 四阶光滑条件的七次样条函数不唯一. 2.3k次样条光滑函数逼近精度分析 引理1回设x∈R,S,(x,k)由式(10)定义，x+ 好(1-品)(x-广+（经-4）(x+) 是正号函数，则： 8刘层 (1)S,(x,k)在x∈R上满足定义1的二阶光 滑条件： 6 (2)S1(x,k)≥x+: (3)对任意的x∈R,k>1,S1(x,k)2-x2≤ 61 24k2 证明过程见文献⑨] (-品)（食'+（俘-）+ 定理4设x∈R,S2(x,k)由式(11)定义，x+是 正号函数，则： (品-)卡 (1)S2(x,k)在x∈R上满足定义1的三阶光 滑条件： 显然，上述三次样条函数满足除一阶边界条件外的 (2)S2(x,k)≥x+, 其他条件.这里，一阶边界条件为S(-)=0, (3)对任意的x∈R,k>1,S2(x,k)2-x2≤ 1 s()=1 30k2- 下面，通过选取n的取值，使上面的三次样条函 证明 数满足逼近正号函数的一阶边界条件.对上式求一 (1)根据三阶光滑样条函数的构造过程，可以 阶导数 直接验证结论成立 S(x)= (-品)+)°+京-宁 (2)）当≥和x≤-时，结论显然成立 -(1-品)(-)+(-) 当xe(-0）时，s9=-6d(2+)≥0， 若满足s(-)=0,S()=1,则可求得n=6 则有s在区间x∈(-，0）上单调递增：由于 使两个条件均成立 那么，可以得出结论，满足逼近正号函数且满足 sg9(-)=0,则s9≥0：同理S≥0，则在区间 二阶光滑条件的三次样条函数必经过点(0，众)， (-0)上S(x,)≥，得证同理可证，在 即满足二阶光滑条件的样条光滑函数，是以(-， 区间x∈(0，)上，(x,)≥x,成立.综上，结论 (2)成立. 0小(0，)和（片）为插值点，且满足自然边界 (3)当x≥和x≤-时，结论显然成立 条件的三次样条插值函数.由三次样条插值函数的 性质可知，这样的插值函数是唯一存在的 当xe(-名0）时，(x,)2-= 定理3在定理2的条件下，满足三阶光滑条 S,(x,k)2.由定理4中结论(2)的证明可知，S,(x, 件的五次样条函数是唯一存在的. 证明过程同定理2. )在xe(-0）时是严格递增的，有S(x,)≤ 对于满足四阶光滑的七次样条函数，由定理1 中第3个结论的证明过程可知，在应用广义三弯矩 ,0,=≤0·则结论成立 法时，增加了边界点的五阶光滑条件.因此，若不采 用边界点五阶光滑条件，而适当增加其他条件，仍然 当xe(0)时，2-2=(-

北 京 科 技 大 学 学 报 第 34 卷 [ 1 nk － 3 2 ( k 1 － 2 ) n 1 k 2 6 ] x + 1 k 1 k = 1 4 k ( 2 1 － 2 ) ( n x － 1 ) nk 3 + ( 3 2n － ) ( 1 4 x + 1 ) k ， S1 ( x) = 3 2 ( k 1 － 2 ) ( n 1 k － ) x 3 6 k [ + 1 nk － 3 2 ( k 1 － 2 ) n 1 k 2 6 ] 1 k － x 1 k + 1 k x 1 k = 1 4 k ( 2 1 － 2 ) ( n 1 k － ) x 3 + ( 5 4 － 3 2 ) n x ( + 3 2n － ) 1 4 1 k ． 显然，上述三次样条函数满足除一阶边界条件外的 其他条件． 这里，一阶边界条件为 S ( ' － 1 ) k = 0， S ( ' 1 ) k = 1． 下面，通过选取 n 的取值，使上面的三次样条函 数满足逼近正号函数的一阶边界条件． 对上式求一 阶导数 S'( x) = 3 4 k ( 2 1 － 2 ) ( n x + 1 ) k 2 + 3 2n － 1 4 ， － 3 4 k ( 2 1 － 2 ) ( n 1 k － ) x 2 + ( 5 4 － 3 2 ) n { ． 若满足 ( S' － 1 ) k = 0， ( S' 1 ) k = 1，则可求得 n = 6 使两个条件均成立． 那么，可以得出结论，满足逼近正号函数且满足 二阶光滑条件的三次样条函数必经过点 ( 0，1 6 ) k ， 即满足二阶光滑条件的样条光滑函数，是以 ( － 1 k ， ) 0 、( 0，1 6 ) k 和 ( 1 k ，1 ) k 为插值点，且满足自然边界 条件的三次样条插值函数． 由三次样条插值函数的 性质可知，这样的插值函数是唯一存在的． 定理 3 在定理 2 的条件下，满足三阶光滑条 件的五次样条函数是唯一存在的． 证明过程同定理 2． 对于满足四阶光滑的七次样条函数，由定理 1 中第 3 个结论的证明过程可知，在应用广义三弯矩 法时，增加了边界点的五阶光滑条件． 因此，若不采 用边界点五阶光滑条件，而适当增加其他条件，仍然 可以得到满足定义 1 的七次样条函数． 因此，满足 四阶光滑条件的七次样条函数不唯一． 2. 3 k 次样条光滑函数逼近精度分析 引理 1 ［9］ 设 x∈R，S1 ( x，k) 由式( 10) 定义，x + 是正号函数，则: ( 1) S1 ( x，k) 在 x∈R 上满足定义 1 的二阶光 滑条件; ( 2) S1 ( x，k) ≥x + ; ( 3) 对任意的 x∈R，k ＞ 1，S1 ( x，k) 2 － x 2 + ≤ 1 24k 2 ． 证明过程见文献［9］． 定理 4 设 x∈R，S2 ( x，k) 由式( 11) 定义，x + 是 正号函数，则: ( 1) S2 ( x，k) 在 x∈R 上满足定义 1 的三阶光 滑条件; ( 2) S2 ( x，k) ≥x + ， ( 3) 对任意的 x∈R，k ＞ 1，S2 ( x，k) 2 － x 2 + ≤ 1 30k 2 ． 证明 ( 1) 根据三阶光滑样条函数的构造过程，可以 直接验证结论成立． ( 2) 当 x≥ 1 k 和 x≤ － 1 k 时，结论显然成立． 当 x∈ ( － 1 k ， ) 0 时，S( 3) 2 = － 6k 3 ( kx 2 + x) ≥0， 则有 S( 2) 2 在区间 x∈ ( － 1 k ，0 ) 上单调递增; 由于 S( 2) 2 ( － 1 ) k = 0，则 S( 2) 2 ≥0; 同理 S' 2 ≥0，则在区间 x∈ ( － 1 k ，0 ) 上 S2 ( x，k) ≥x + 得证． 同理可证，在 区间 x∈ ( 0，1 ) k 上，S2 ( x，k) ≥x + 成立． 综上，结论 ( 2) 成立． ( 3) 当 x≥ 1 k 和 x≤ － 1 k 时，结论显然成立． 当 x ∈ ( － 1 k ，0 ) 时，S2 ( x，k) 2 － x 2 + = S2 ( x，k) 2 ． 由定理 4 中结论( 2) 的证明可知，S2 ( x， k) 在 x∈ ( － 1 k ，0 ) 时是严格递增的，有 S2 ( x，k) ≤ S0 ( 0，k) = 9 400k 2≤ 1 30k 2，则结论成立． 当 x∈ ( 0，1 ) k 时，S2 ( x，k) 2 － x 2 + = ( － k 4 10 x 5 － ·722·

第6期 张晓丹等：基于样条函数的光滑支持向量机模型 ·723· 学+与+宁+品)广-设=8 1312 冬，即1x1,S(x,k)2-x2≤ 逼近程度不断提高. 1 从表1可以看出，在具有相同光滑阶数的情况 58k2 下，样条函数比多项式函数的次数低1次，但是逼近 证明过程同定理4. 精度比相应的多项式函数要高.因此，在可比条件 当光滑函数取式(6)时，由文献6]可知，取p= 下，样条函数比多项式函数略有优势 表1光滑函数及其通近精度比较 Table 1 Comparison of smooth functions and approximation accuracy 光滑函数 逼近精度 光滑阶数 函数次数 +g1+e) 0.6927 2 任意 1 0.0909 1 2 :6+(-) 0.0526 2 2 2+6证 0.04167 2 k 11 ++6 2 -5+152+16+5) 0.03578 1 3 0.03333 3 6—x635k35k2+。一x+256k 35 0.02763 12864 2 6 3 4 2 4 4 0.01724 35 3 53 4 3 1 3 2 子++2 差距. 3性质分析 定理6设A∈Rxm,b∈Rmx1,实函数h(x): R”→R,g(x,):R"×N→R定义如下： 3.1模型的收敛性分析 本节讨论光滑模型与原来模型最优解之间的 h()=(+).(17)

第 6 期 张晓丹等: 基于样条函数的光滑支持向量机模型 k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20 ) k 2 － x 2 ，设 u( x) = S2 ( x，k) 2 － x 2 + ，作变量代换 a = kx，a∈( 0，1) ，则有 u( a) = 1 k 2 [ ( a5 10 － a4 4 + a2 2 + a 2 + 3 ) 20 2 － a ] 2 ， a∈( 0，1) ． 采用二分法或不动点迭代法，可以求出 u'( a) 的零点 a0 = 0. 157 762，且 u″( a0 ) ＜ 0，即 u( a) 在 a∈ ( 0，1) 上极大值点为 a0 = 0. 157 762，从而有 u( x) ≤ u( 0. 157 762) ＜ 1 30k 2，故此时结论成立． 综上，结论 ( 3) 成立． 定理 5 设 x∈R，S3 ( x，k) 由式( 12) 定义，x + 是 正号函数，则: ( 1) S3 ( x，k) 在 x∈R 上满足定义 1 的四阶光 滑条件; ( 2) S3 ( x，k) ≥x + ; ( 3) 对任意的 x∈R，k ＞ 1，S3 ( x，k) 2 － x 2 + ≤ 1 58k 2 ． 证明过程同定理 4． 当光滑函数取式( 6) 时，由文献［6］可知，取ρ = 1 k ，即| x | ＜ 1 k 时，有 P( x，k) 2 － x 2 + ≤ ( lg2 ) k 2 + 2ρ k ( lg2 = lg2 ) k 2 + 2 k 2 lg2≈0. 692 7 1 k 2 ． ( 13) 当光滑函数取式( 10) 时，有 S1 ( x，k) 2 － x 2 + ≤ 1 24k 2≈0. 041 67 k 2 ． ( 14) 当光滑函数取式( 11) 时，有 S2 ( x，k) 2 － x 2 + ≤ 1 30k 2≈0. 033 33 k 2 ． ( 15) 当光滑函数取式( 12) 时，有 S3 ( x，k) 2 － x 2 + ≤ 1 58k 2≈0. 017 24 k 2 ． ( 16) 可见，样条函数与 Sigmoid 积分函数相比，在相 同的 k 下对正号函数的逼近精度提高了一个数量 级，且随着光滑阶数的增加，样条函数对正号函数的 逼近程度不断提高． 从表 1 可以看出，在具有相同光滑阶数的情况 下，样条函数比多项式函数的次数低 1 次，但是逼近 精度比相应的多项式函数要高． 因此，在可比条件 下，样条函数比多项式函数略有优势． 表 1 光滑函数及其逼近精度比较 Table 1 Comparison of smooth functions and approximation accuracy 光滑函数 逼近精度 光滑阶数 函数次数 x + 1 k lg( 1 + e － kx ) 0. 692 7 k2 任意 — k 4 x2 + 1 2 x + 1 4k 0. 090 9 k2 1 2 － 1 16 ( kx + 1) 3 ( kx － 3) 0. 052 6 k2 2 4 k2 6 x3 + k 2 x2 + 1 2 x + 1 6k － k2 6 x3 + k 2 x2 + 1 2 x + 1 6 { k 0. 041 67 k2 2 3 1 32k ( k6 x6 － 5k4 x4 + 15k2 x2 + 16kx + 5) 0. 035 78 k2 3 6 － k4 10 x5 － k3 4 x4 + k 2 x2 + 1 2 x + 3 20k k4 10 x5 － k3 4 x4 + k 2 x2 + 1 2 x + 3 20 { k 0. 033 33 k2 3 5 － 5k7 256 x8 + 7k5 64 x6 － 35k3 128 + 35k 64 x2 + 1 2 x + 35 256k 0. 027 63 k2 4 8 － k6 7 x7 － 3k5 4 x6 － 3k4 2 x5 － 5k3 4 x4 + 3 4 kx2 + 1 2 x + 3 28k k6 7 x7 － 3k5 4 x6 + 3k4 2 x5 － 5k3 4 x4 + 3 4 kx2 + 1 2 x + 3 28 { k 0. 017 24 k2 4 7 3 性质分析 3. 1 模型的收敛性分析 本节讨论光滑模型与原来模型最优解之间的 差距． 定理 6 设 A∈Rm × n ，b∈Rm × 1 ，实函数 h( x) ∶ Rn →R，g( x，k) ∶ Rn × N→R 定义如下: h( x) = 1 2 ‖( Ax + b) + ‖2 2 + 1 2 ‖x‖2 2，( 17) ·723·

·724· 北京科技大学学报 第34卷 gx,=7/A-b,I店+2Ix 应用定理4的结论，结论(2)得证 (3)由结论(2)可知lim‖x-x‖3=0，则结论 (18) (3)成立. 式中，f(x,k)定义为式(11).则： 定理7设A∈Rmx“,b∈Rmx1,实函数h(x): (1)优化问题minh(x)存在唯一解，记为x;优 R→R,g(x,k):R”×N→R定义如下： 化问题ming(x,k)存在唯一解，记为x; (2)）对任意k>1,有F-2≤成立，其 h(x)=之I4x+b),l+分Ix, 中m为训练样本的个数； gx,=之Ifar-b,)+之Ix (3)limx=x. 式中，f(x,k)取为式(12).则： 证明 (1)优化问题minh(x)存在唯一解，记为x,优 (1)定义相应的水平集为L,(g(x,k))= 化问题ming(x,)存在唯一解，记为x; {xlx∈R",g(x,k)≤}.L,(h(x)={xlx∈R", (2)对任意k>1,有1F-x≤16，其中 h(x)≤}.由于S(x,k)≥(x)+,对任意v≥0，它们 满足L.(g(x,k)CL.(h(x)C{x|IxI≤2w}. m为训练样本的个数； 因此，L.(g(x,k))和L.(h(x))是R"空间中的紧 (3)lim=. 集，从而优化问题minh(x)和ming(x,k)最优解存 证明过程与定理6类似 在.又由于h(x)和g(x,k)对任意的k∈Z+都是强 3.2非线性核函数的基于样条函数的支持向量机 凸函数，因此优化问题minh(x)和ming(x,k)的最 模型 优解是唯一的 在前面的讨论中，通过建立一个线性分离超平 (2)在式(17)中，h(x)在原点不可微，此时h 面，来解决线性可分或者近似线性可分的问题.下 (0)采用次梯度来代替. 面利用核函数(kernel function)来建立一个非线性 h(x)在x点的Taylor展开式如下： 分离超平面，用来解决非线性分类问题.现在用广 h ()=h(x)+Vh(x)) 义支持向量机(GSVM)模型，使用一个完全任意核 来产生非线性分类超平面@.广义支持向量机使 rh(田(-= 用一个广义核K(A,AT)来解决下面的数学规划 h(国+分h(田I子-经 问题： [minvey+f(w）, g(c,k)在x点的Taylor展开式如下： H.Y.y g(c,k)=g(,k)+Vg(,k)(c-x)+ ls.t.D(K(A,AT)Du-ey）+y≥e,y≥0. (19) rg,匠-= 这里f()是R"上的某个凸函数，v>0是惩罚 函数，“是一个参数，非线性分类超平面为 g,)+2g(,)1正-子经 K(x,AT)Du=y. (20) 从h(x)和g(x,k)的强凸性，可以得到 令K(A,AT)=AAT,w=ADu和f(u）= h(的)-h国≥子I定-正和 之DA4"Du,则可以得到式().对上述最优化间 g任，月-g,)≥之I正-子 题进行改进，可以得到下面的规划问题 则 wy). Ir-xI≤g(c,k)-h(田]- s.t.D(K(A,A)Du-ey)+y≥e,y≥0. g(F,)-h(]≤ (21) [g(x,k)-h(]= 于是，按照对于线性模型的讨论方法，可以得到 之Isax-b,月I3-子I(ar-b),I3= 带有非线性核函数K(A,AT)的基于样条函数的支 持向量机模型： 号（言-b,-(a-b2JD. (e-D(K(A.A)Du)

北 京 科 技 大 学 学 报 第 34 卷 g( x，k) = 1 2 ‖f( Ax － b，k) ‖2 2 + 1 2 ‖x‖2 2 ． ( 18) 式中，f( x，k) 定义为式( 11) ． 则: ( 1) 优化问题 minh( x) 存在唯一解，记为 x; 优 化问题 ming( x，k) 存在唯一解，记为 xk ; ( 2) 对任意 k ＞ 1，有‖xk － x‖2 ≤ m 60k 2成立，其 中 m 为训练样本的个数; ( 3) limk→∞ xk = x． 证明 ( 1) 定义相应的水平集为 Lv ( g ( x，k ) ) = { x | x∈Rn ，g( x，k) ≤v} ． Lv ( h( x) ) = { x | x∈Rn ， h( x) ≤v} ． 由于 S( x，k) ≥( x) + ，对任意 v≥0，它们 满足 Lv( g( x，k) ) Lv ( h( x) ) { x ‖x‖2 2≤2v} ． 因此，Lv( g( x，k) ) 和 Lv ( h( x) ) 是 Rn 空间中的紧 集，从而优化问题 minh( x) 和 ming( x，k) 最优解存 在． 又由于 h( x) 和 g( x，k) 对任意的 k∈Z + 都是强 凸函数，因此优化问题 minh( x) 和 ming( x，k) 的最 优解是唯一的． ( 2) 在式( 17) 中，h( x) 在原点不可微，此时 Δ h ( 0) 采用次梯度来代替． h( xk ) 在 x 点的 Taylor 展开式如下: h( xk ) = h( x) + Δ h( x) ( xk － x) + 1 2 2 Δ h( x) ( xk － x) 2 = h( x) + 1 2 2 Δ h( x) ‖xk － x‖2 2 ． g( x，k) 在 xk 点的 Taylor 展开式如下: g( x，k) = g( xk ，k) + Δ g( xk ，k) ( x － xk ) + 1 2 2 Δ g( xk ，k) ( x － xk ) 2 = g( xk ，k) + 1 2 2 Δ g( xk ，k) ‖x － xk ‖2 2 ． 从 h( x) 和 g( x，k) 的强凸性，可以得到 h( xk ) － h( x) ≥ 1 2 ‖xk － x‖2 2 和 g( x，k) － g( xk ，k) ≥ 1 2 ‖x － xk ‖2 2 ． 则 ‖xk － x‖2 2≤［g( x，k) － h( x) ］－ ［g( xk ，k) － h( xk ) ］≤ ［g( x，k) － h( x) ］= 1 2 ‖S( Ax － b，k) ‖2 2 － 1 2 ‖( Ax － b) + ‖2 2 = ( 1 2 ∑ m i = 1 ［S( Ax － b，k) 2 i － ( ( Ax － b) i ) 2 + ］ ) ) ． 应用定理 4 的结论，结论( 2) 得证． ( 3) 由结论( 2) 可知limk→∞‖xk － x‖2 2 = 0，则结论 ( 3) 成立． 定理 7 设 A∈Rm × n ，b∈Rm × 1 ，实函数 h( x) ∶ Rn →R，g( x，k) ∶ Rn × N→R 定义如下: h( x) = 1 2 ‖( Ax + b) + ‖2 2 + 1 2 ‖x‖2 2， g( x，k) = 1 2 ‖f( Ax － b，k) ‖2 2 + 1 2 ‖x‖2 2 ． 式中，f( x，k) 取为式( 12) ． 则: ( 1) 优化问题 minh( x) 存在唯一解，记为 x，优 化问题 ming( x，k) 存在唯一解，记为 xk ; ( 2) 对任意 k ＞ 1，有‖xk － x‖2 ≤ m 116k 2，其中 m 为训练样本的个数; ( 3) limk→∞ xk = x． 证明过程与定理 6 类似． 3. 2 非线性核函数的基于样条函数的支持向量机 模型 在前面的讨论中，通过建立一个线性分离超平 面，来解决线性可分或者近似线性可分的问题． 下 面利用核函数( kernel function) 来建立一个非线性 分离超平面，用来解决非线性分类问题． 现在用广 义支持向量机( GSVM) 模型，使用一个完全任意核 来产生非线性分类超平面［10］． 广义支持向量机使 用一个广义核 K( A，AT ) 来解决下面的数学规划 问题: min u，γ，y veT y + f( u) ， s． t． D( K( A，AT ) Du － eγ) + y≥e，y≥0 { ． ( 19) 这里 f( u) 是 Rm 上的某个凸函数，v ＞ 0 是惩罚 函数，u 是一个参数，非线性分类超平面为 K( xT ，AT ) Du = γ． ( 20) 令 K ( A，AT ) = AAT ，ω = AT Du 和 f ( u) = 1 2 uT DAAT Du，则可以得到式( 1) ． 对上述最优化问 题进行改进，可以得到下面的规划问题 min ( u，γ，y) ∈Rn + m + 1 v 2 yT y + 1 2 ( uT u + γ2 ) ， s． t． D( K( A，AT ) Du － eγ) + y≥e，y≥0 { ． ( 21) 于是，按照对于线性模型的讨论方法，可以得到 带有非线性核函数 K( A，AT ) 的基于样条函数的支 持向量机模型: min u，γ v 2 ‖S( e － D( K( A，AT ) Du － eγ) ，k) ‖2 2 + ·724·

第6期 张晓丹等：基于样条函数的光滑支持向量机模型 ·725· (uy). (22) x+》=x+d因，转(2). 这里，K(A,A)是从Rx x R×m到Rmxm的映 4结论 射.这个模型对于任意的核函数，仍然保持了强凸 应用广义三弯矩法，构造了满足三阶光滑条件 性和光滑性，所以关于线性模型收敛性的讨论在这 的五次样条光滑函数和满足四阶光滑条件的七次样 里仍然成立.因此，可以应用Newton-Armijo方法直 条光滑函数：同时，证明了三次和五次样条函数的唯 接求解 一存在性.此外，本文证明了五次和七次样条函数 3.3数值试验算法 的逼近精度高于可比条件下己有的各种光滑函数. 由定理6和7可知，基于样条函数的支持向量 同时，基于这两个样条函数的支持向量机模型的解 机模型的最优解，在光滑因子k趋于正无穷时收敛 的收敛精准度也高于以往的光滑支持向量机模型. 于原来模型的最优解.但是，实际求解基于样条函 可见，基于样条函数的光滑支持向量机方法是光滑 数的支持向量机模型时，k的取值却是有限的.那 支持向量机领域一种高效的方法 么，k究竞应该取多少才能满足问题求解的需要呢？ 为此，本文讨论最优光滑因子的取值问题 参考文献 定义2)对任意给定的m个训练样本，任意 [Vapnik V N.The Nature of Statistical Learning Theory.New 给定模型最优解与原来模型最优解x逼近精度 York:Springer Verlag,1995 Platt J.Sequential minimal optimization:a fast algorithm for train- e,即‖x-x‖2≤e,称使得该式成立的最小的光滑 ing support vector machines /Advances in Kernel Methods-Support 因子k为最优光滑因子，记为kopt(m,s). Vector Learning.Massachusetts:MIT Press,1999:185 由上述定义知，只要模型中的k≥kopt(m,s), B3]Mangasarian O L,Musicant D R.Making largescale support vec- 则求解的结果就能满足给定的精度要求 tor machine leaming practical /Adrances in Kernel Methods-Sup- 定理8对于任意给定的m个训练样本，任意 port Vector Learning.Massachusetts:MIT Press,1999:169 [4] Mangasarian O L,Musicant D R.Successive overrelaxation for 给定的光滑模型与原模型解的逼近精度e,kopt的 support vector machines.IEEE Trans Neural Networks,1999,10 取值满足如下条件： (5):1032 (1)对于式(11)的五次样条光滑函数，kopt= ⑤ Suykens J A K,Vandewalle J.Least squares support vector ma- 0.03333m chine classifiers.Neural Process Lett,1999.9(3):293 [6] 28 Lee YJ.Mangasarian O L.SSVM:a smooth support vector ma- chine for classification.Comput Optim Appl,2001,20(1):5 (2)对于式(12)的七次样条光滑函数，kopt= 7]Xiong J Z,Hu J L,Yuan H Q,et al.Research on a new class of 0.01724m functions for smoothing support vector machines.Acta Electron 28 Sin,2007,35(2):366 对于本文所采用的样条光滑函数，都能保证优 (熊金志，胡金莲，袁华强，等.一类光滑支持向量机新函数的 化问题的目标函数至少具有二阶光滑性，因此可以 研究.电子学报，2007,35(2)：366) 8] 采用Newton-Armijo算法，即下降方向采用Newton Xiong JZ,Yuan H Q,Peng H.A general formulation of polyno- mial smooth support vector machines.J Comput Res Derelop, 方向，步长采用Armijo准则确定 2008,45(8):1346 算法步骤如下： (熊金志，袁华强，彭宏.多项式光滑的支持向量机一般模型研 (1)给定初始点x0及s1>0,令迭代步骤 究.计算机研究与发展，2008,45(8)：1346) ] Yuan Y,Fan W,Pu D.Spline function smooth support vector ma- k=0: chine for classification.J Ind Manage Optim,2007,3(3):529 (2)令k=k+1,计算g,若Ig因Ⅱ≤E1,则 [10]Mangasarian O L.Generalized support vector machines /Ad- 取x°=x,停止；否则转(3)： rances in Large Margin Classifiers.Massachusetts:MIT Press, (3)计算G:=G(x因)，从方程Gd=-g 2000:135 中求解下降方向d因： [11]Yuan Y B,Yan J,Xu C X.Polynomial smooth support vector machine.Chin J Comput,2005,28(1):9 (4)采用Am时jo准则计算步长a4: (袁玉波，严杰，徐成贤.多项式光滑的支撑向量机.计算机 (5)若a4<10-2,则取x=x,停止：否则令 学报，2005,28(1)：9)

第 6 期 张晓丹等: 基于样条函数的光滑支持向量机模型 1 2 ( uT u + γ2 ) ． ( 22) 这里，K( A，AT ) 是从 Rm × n × Rn × m到 Rm × m的映 射． 这个模型对于任意的核函数，仍然保持了强凸 性和光滑性，所以关于线性模型收敛性的讨论在这 里仍然成立． 因此，可以应用 Newton-Armijo 方法直 接求解． 3. 3 数值试验算法 由定理 6 和 7 可知，基于样条函数的支持向量 机模型的最优解，在光滑因子 k 趋于正无穷时收敛 于原来模型的最优解． 但是，实际求解基于样条函 数的支持向量机模型时，k 的取值却是有限的． 那 么，k 究竟应该取多少才能满足问题求解的需要呢? 为此，本文讨论最优光滑因子的取值问题． 定义 2 ［11］ 对任意给定的 m 个训练样本，任意 给定模型最优解 xk 与原来模型最优解 x 逼近精度 ε，即‖xk － x‖2 ≤ε，称使得该式成立的最小的光滑 因子 k 为最优光滑因子，记为 kopt( m，ε) ． 由上述定义知，只要模型中的 k≥kopt( m，ε) ， 则求解的结果就能满足给定的精度要求． 定理 8 对于任意给定的 m 个训练样本，任意 给定的光滑模型与原模型解的逼近精度 ε，kopt 的 取值满足如下条件: ( 1) 对于式( 11) 的五次样条光滑函数，kopt = 0. 033 33m 槡 2ε ; ( 2) 对于式( 12) 的七次样条光滑函数，kopt = 0. 017 24m 槡 2ε ． 对于本文所采用的样条光滑函数，都能保证优 化问题的目标函数至少具有二阶光滑性，因此可以 采用 Newton-Armijo ［6］算法，即下降方向采用 Newton 方向，步长采用 Armijo 准则确定． 算法步骤如下: ( 1) 给 定 初 始 点 x( 1) 及 ε1 ＞ 0，令 迭 代 步 骤 k = 0; ( 2) 令 k = k + 1，计算 g( k) ，若‖g( k) ‖≤ε1，则 取 x* = x( k) ，停止; 否则转( 3) ; ( 3) 计算 Gk = G( x( k) ) ，从方程 Gkd( k) = － gk 中求解下降方向 d( k) ; ( 4) 采用 Armijo 准则计算步长 αk ; ( 5) 若 αk ＜ 10 － 12 ，则取 x* = x( k) ，停止; 否则令 x( k + 1) = x( k) + αkd( k) ，转( 2) ． 4 结论 应用广义三弯矩法，构造了满足三阶光滑条件 的五次样条光滑函数和满足四阶光滑条件的七次样 条光滑函数; 同时，证明了三次和五次样条函数的唯 一存在性． 此外，本文证明了五次和七次样条函数 的逼近精度高于可比条件下已有的各种光滑函数． 同时，基于这两个样条函数的支持向量机模型的解 的收敛精准度也高于以往的光滑支持向量机模型． 可见，基于样条函数的光滑支持向量机方法是光滑 支持向量机领域一种高效的方法． 参 考 文 献 ［1］ Vapnik V N． The Nature of Statistical Learning Theory． New York: Springer Verlag，1995 ［2］ Platt J． Sequential minimal optimization: a fast algorithm for train￾ing support vector machines / / Advances in Kernel Methods-Support Vector Learning． Massachusetts: MIT Press，1999: 185 ［3］ Mangasarian O L，Musicant D R． Making large-scale support vec￾tor machine learning practical / / Advances in Kernel Methods-Sup￾port Vector Learning． Massachusetts: MIT Press，1999: 169 ［4］ Mangasarian O L，Musicant D R． Successive overrelaxation for support vector machines． IEEE Trans Neural Networks，1999，10 ( 5) : 1032 ［5］ Suykens J A K，Vandewalle J． Least squares support vector ma￾chine classifiers． Neural Process Lett，1999，9( 3) : 293 ［6］ Lee Y J，Mangasarian O L． SSVM: a smooth support vector ma￾chine for classification． Comput Optim Appl，2001，20( 1) : 5 ［7］ Xiong J Z，Hu J L，Yuan H Q，et al． Research on a new class of functions for smoothing support vector machines． Acta Electron Sin，2007，35( 2) : 366 ( 熊金志，胡金莲，袁华强，等． 一类光滑支持向量机新函数的 研究． 电子学报，2007，35( 2) : 366) ［8］ Xiong J Z，Yuan H Q，Peng H． A general formulation of polyno￾mial smooth support vector machines． J Comput Res Develop， 2008，45( 8) : 1346 ( 熊金志，袁华强，彭宏． 多项式光滑的支持向量机一般模型研 究． 计算机研究与发展，2008，45( 8) : 1346) ［9］ Yuan Y，Fan W，Pu D． Spline function smooth support vector ma￾chine for classification． J Ind Manage Optim，2007，3( 3) : 529 ［10］ Mangasarian O L． Generalized support vector machines / / Ad￾vances in Large Margin Classifiers． Massachusetts: MIT Press， 2000: 135 ［11］ Yuan Y B，Yan J，Xu C X． Polynomial smooth support vector machine． Chin J Comput，2005，28( 1) : 9 ( 袁玉波，严杰，徐成贤． 多项式光滑的支撑向量机． 计算机 学报，2005，28( 1) : 9) ·725·