D0L:10.13374.issn1001-053x.2012.06.019 第34卷第6期 北京科技大学学报 Vol.34 No.6 2012年6月 Journal of University of Science and Technology Beijing Jun.2012 基于样条函数的光滑支持向量机模型 张晓丹 邵帅刘钦圣 北京科技大学数理学院，北京100083 ☒通信作者，Emai:bkdzxd(@163.com 摘要应用光滑函数改进支持向量机模型，得到无约束条件、可微的二次规划问题，从而可以采用快速的最优化算法求解 光滑支持向量机模型.提出了一种广义三弯矩方法，用这个方法构造出新的五次样条光滑函数和七次样条光滑函数.证明了 上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数：基于上述两个样条函数的光滑支持向量机模型的收敛精度 也高于已有的各种光滑支持向量机模型. 关键词支持向量机：样条：分类：数值方法收敛性 分类号TP181 Smooth support vector machine model based on spline functions ZHANG Xiao-dan,SHAO Shuai,LIU Qin-sheng School of Mathematics and Physics,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:bkdzxd@163.com ABSTRACT Differentiable and unconstrained quadratic programming can be constructed by improving a support vector machine (SVM)model using a smooth function,and thus a lot of fast optimization algorithms can be applied to solve the smooth SVM model.A new five-order spline function and a new seven-order spline function were constructed by a general three-moment method.These two spline functions are proved that their approximation accuracy is better than any other smooth functions,and the convergence accuracy of the spline function SVM model based on the five-order spline or seven-order spline is higher than any other smooth SVM models. KEY WORDS support vector machines:splines:classification:convergence of numerical methods 支持向量机(support vector machine,SVM)是在 的部分，首次构造了用于分类问题的光滑支持向量 统计学习理论①基础上发展起来的一种新的机器 机模型(smooth support vector machine,SSVM).此 学习方法.它可以自动寻找对分类有较好区分能力 后，学者们不断地寻找新的光滑函数，以提高光滑函 的支持向量，且由其构成的分类器还可以最大化类 数的逼近精度以及光滑支持向量机模型的解与最优 与类之间的间隔，在解决小样本、非线性和高维数的 解的逼近精度.目前比较完善的方法是熊金志 模式识别问题中表现出了许多特有的优势.学者们 等-则提出的多项式光滑的支持向量机一般模型 先后提出了SMO算法a、SVMlight算法、SOR算 (polynomial smooth support vector machine,PSSVM). 法W及LS-SVM囚等算法改进支持向量机模型的形 2007年，袁玉波等构造了一个满足二阶光滑条 式，简化计算过程，以便求解支持向量机问题.由于 件的三次样条函数作为光滑函数，提出了三次样条 无约束条件的支持向量机模型的目标函数是不光滑 函数光滑的支持向量机模型回，其逼近精度和数值 函数，因此许多经典的快速算法不能用来求解支持 试验结果比以往的光滑支持向量机模型有了进一步 向量机的优化问题.2001年，Lee和Mangasarian因 的改善。同时，作为光滑支持向量机的新的研究方 使用已有的光滑技术，采用Sigmoid函数的积分函 向，样条函数光滑支持向量机的研究处于起步阶段， 数作为光滑函数，来逼近支持向量机模型中不可微 有三个主要问题需要解决：(1)是否存在其他形式 收稿日期：20110501第 34 卷 第 6 期 2012 年 6 月 北京科技大学学报 Journal of University of Science and Technology Beijing Vol． 34 No． 6 Jun． 2012 基于样条函数的光滑支持向量机模型 张晓丹 邵 帅 刘钦圣 北京科技大学数理学院，北京 100083 通信作者，E-mail: bkdzxd@ 163． com 摘 要 应用光滑函数改进支持向量机模型，得到无约束条件、可微的二次规划问题，从而可以采用快速的最优化算法求解 光滑支持向量机模型． 提出了一种广义三弯矩方法，用这个方法构造出新的五次样条光滑函数和七次样条光滑函数． 证明了 上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数; 基于上述两个样条函数的光滑支持向量机模型的收敛精度 也高于已有的各种光滑支持向量机模型． 关键词 支持向量机; 样条; 分类; 数值方法收敛性 分类号 TP181 Smooth support vector machine model based on spline functions ZHANG Xiao-dan ，SHAO Shuai，LIU Qin-sheng School of Mathematics and Physics，University of Science and Technology Beijing，Beijing 100083，China Corresponding author，E-mail: bkdzxd@ 163． com ABSTRACT Differentiable and unconstrained quadratic programming can be constructed by improving a support vector machine ( SVM) model using a smooth function，and thus a lot of fast optimization algorithms can be applied to solve the smooth SVM model． A new five-order spline function and a new seven-order spline function were constructed by a general three-moment method． These two spline functions are proved that their approximation accuracy is better than any other smooth functions，and the convergence accuracy of the spline function SVM model based on the five-order spline or seven-order spline is higher than any other smooth SVM models． KEY WORDS support vector machines; splines; classification; convergence of numerical methods 收稿日期: 2011--05--01 支持向量机( support vector machine，SVM) 是在 统计学习理论［1］基础上发展起来的一种新的机器 学习方法． 它可以自动寻找对分类有较好区分能力 的支持向量，且由其构成的分类器还可以最大化类 与类之间的间隔，在解决小样本、非线性和高维数的 模式识别问题中表现出了许多特有的优势． 学者们 先后提出了 SMO 算法［2］、SVMlight 算法［3］、SOR 算 法［4］及 LS--SVM［5］等算法改进支持向量机模型的形 式，简化计算过程，以便求解支持向量机问题． 由于 无约束条件的支持向量机模型的目标函数是不光滑 函数，因此许多经典的快速算法不能用来求解支持 向量机的优化问题． 2001 年，Lee 和 Mangasarian ［6］ 使用已有的光滑技术，采用 Sigmoid 函数的积分函 数作为光滑函数，来逼近支持向量机模型中不可微 的部分，首次构造了用于分类问题的光滑支持向量 机模型( smooth support vector machine，SSVM) ． 此 后，学者们不断地寻找新的光滑函数，以提高光滑函 数的逼近精度以及光滑支持向量机模型的解与最优 解的 逼 近 精 度． 目前比较完善的方法是熊金志 等［7 － 8］提出的多项式光滑的支持向量机一般模型 ( polynomial smooth support vector machine，PSSVM) ． 2007 年，袁玉波等构造了一个满足二阶光滑条 件的三次样条函数作为光滑函数，提出了三次样条 函数光滑的支持向量机模型［9］，其逼近精度和数值 试验结果比以往的光滑支持向量机模型有了进一步 的改善． 同时，作为光滑支持向量机的新的研究方 向，样条函数光滑支持向量机的研究处于起步阶段， 有三个主要问题需要解决: ( 1) 是否存在其他形式 DOI:10.13374/j.issn1001-053x.2012.06.019