第8卷第3期 智能系统学报 Vol.8 No.3 2013年6月 CAAI Transactions on Intelligent Systems Jum.2013 D0I:10.3969/i.issn.1673-4785.201211026 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20130515.0842.003.html 支持向量回归机多项式光滑函数的逼近精度 冯能山，熊金志 (东莞理工学院计算机学院，广东东莞523808) 摘要：为了解决支持向量回归机多项式光滑函数的逼近精度问题，根据该类光滑函数的复杂性，提出五步求的基 本思路：首先把多项式光滑函数的逼近精度问题表示为一个求逼近函数的最大值问题，接着证明这个逼近函数是一 个对称函数，然后分别求出逼近函数在[0，s]和（ε，+0）上的最大值，最后对这2个最大值进行比较，得出光滑函 数的逼近精度通过实例计算，结果证明了该方法的有效性和正确性，解决了无穷多个多项式光滑函数的逼近精度问 题，为光滑支持向量回归机提供了基本的理论支持. 关键词：支持向量回归机：多项式光滑函数：逼近精度：对称函数 中图分类号：TP18文献标志码：A文章编号：1673-4785(2013)03-0266-05 中文引用格式：冯能山，熊金志.支持向量回归机多项式光滑函数的逼近精度[J].智能系统学报，2013,8(3】：266-270 英文引用格式：FENG Nengshan,,XIONG Jinzhi.The approximation accuracies of polynomial smoothing functions for support vec tor regression[J].CAAI Transactions on Intelligent Systems,2013,8(3):266-270. The approximation accuracies of polynomial smoothing functions for support vector regression FENG Nengshan,XIONG Jinzhi Computer College,Dongguan University of Technology,Dongguan 523808,China) Abstract:In order to solve the problem of polynomial smoothing function's approximation accuracies for support vector regression,the researcher proposes to solve the problem utilizing a five step approach,according to the com- plexity of smooth functions.The first step,examines the problem of the approximation accuracy in the polynomial smoothing function represented by solving the maximum value of an approximation function;second,the function was verified to be a symmetric function;third,the maximum values of the approximation function were derived re- spectively at the intervals [0,s]and (s,+o);fourth,the two maximum values were compared,and finally the approximation accuracy was obtained.Through the calculation with examples,the correctness and effectiveness of the method was validated,and the approximation accuracy problem of the infinite polynomial smoothing functions was systematically solved in this paper,which offers basic theoretical support for smooth support vector regression. Keywords:support vector regression;polynomial smoothing function;approximation accuracies;symmetric function 光滑函数在支持向量机中得到了成功应用，特机在一定程度上改善了回归效果.为使支持向量回 别是对分类问题获得了良好的效果】对回归问 归机的效果得到进一步改善，针对原支持向量回归 题，国内外学者进行了深入研究，如Lee等找到一 机中ε-不敏感损失函数的平方项不光滑的问题， 类p2-函数，并作为光滑函数对回归问题中的目标函2008年笔者又提出了一类多项式光滑函数).这类 数进行光滑处理，提出ε不敏感的光滑支持向量回 多项式光滑函数的形式复杂，具有以下3个显著特 归机模型.其实验结果表明，这种光滑支持向量回归 点：1)这种多项式光滑函数有无穷多个：2)每个多 项式光滑函数都是某个多项式函数的复合函数：3) 收稿日期：2012-11-02.网络出版日期：2013-05-15. 基金项目：广东省自然科学基金资助项目(9151170003000017)：东莞 每个多项式光滑函数都是三段函数[s6].按照光滑技 市科技计划资助项目(2012108102027) 通信作者：熊金志.E-mail:dgxiongjinzhi(@126.com 术的基本思路，用多项式光滑函数对原支持向量回
第 ８ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．８ №．３ ２０１３ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１３ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１２１１０２６ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１３０５１５．０８４２．００３．ｈｔｍｌ 支持向量回归机多项式光滑函数的逼近精度 冯能山，熊金志 （东莞理工学院 计算机学院，广东 东莞 ５２３８０８） 摘 要：为了解决支持向量回归机多项式光滑函数的逼近精度问题，根据该类光滑函数的复杂性，提出五步求的基 本思路：首先把多项式光滑函数的逼近精度问题表示为一个求逼近函数的最大值问题，接着证明这个逼近函数是一 个对称函数，然后分别求出逼近函数在 ［０，ε］ 和 （ε， ＋ ¥） 上的最大值，最后对这 ２ 个最大值进行比较，得出光滑函 数的逼近精度．通过实例计算，结果证明了该方法的有效性和正确性，解决了无穷多个多项式光滑函数的逼近精度问 题，为光滑支持向量回归机提供了基本的理论支持． 关键词：支持向量回归机；多项式光滑函数；逼近精度；对称函数 中图分类号： ＴＰ１８ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１３）０３⁃０２６６⁃０５ 中文引用格式：冯能山，熊金志．支持向量回归机多项式光滑函数的逼近精度［Ｊ］．智能系统学报， ２０１３， ８（３）： ２６６⁃２７０． 英文引用格式：ＦＥＮＧ Ｎｅｎｇｓｈａｎ， ＸＩＯＮＧ Ｊｉｎｚｈｉ． Ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｉｅｓ ｏｆ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｓｕｐｐｏｒｔ ｖｅｃ⁃ ｔｏｒ ｒｅｇｒｅｓｓｉｏｎ［Ｊ］．ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１３， ８（３）： ２６６⁃２７０． Ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｉｅｓ ｏｆ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ ＦＥＮＧ Ｎｅｎｇｓｈａｎ， ＸＩＯＮＧ Ｊｉｎｚｈｉ （Ｃｏｍｐｕｔｅｒ Ｃｏｌｌｅｇｅ， Ｄｏｎｇｇｕａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｄｏｎｇｇｕａｎ ５２３８０８， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎ’ ｓ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｉｅｓ ｆｏｒ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ， ｔｈｅ ｒｅｓｅａｒｃｈｅｒ ｐｒｏｐｏｓｅｓ ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｕｔｉｌｉｚｉｎｇ ａ ｆｉｖｅ ｓｔｅｐ ａｐｐｒｏａｃｈ， ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｃｏｍ⁃ ｐｌｅｘｉｔｙ ｏｆ ｓｍｏｏｔｈ ｆｕｎｃｔｉｏｎｓ． Ｔｈｅ ｆｉｒｓｔ ｓｔｅｐ， ｅｘａｍｉｎｅｓ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｙ ｉｎ ｔｈｅ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ｓｏｌｖｉｎｇ ｔｈｅ ｍａｘｉｍｕｍ ｖａｌｕｅ ｏｆ ａｎ ａｐｐｒｏｘｉｍａｔｉｏｎ ｆｕｎｃｔｉｏｎ； ｓｅｃｏｎｄ， ｔｈｅ ｆｕｎｃｔｉｏｎ ｗａｓ ｖｅｒｉｆｉｅｄ ｔｏ ｂｅ ａ ｓｙｍｍｅｔｒｉｃ ｆｕｎｃｔｉｏｎ； ｔｈｉｒｄ， ｔｈｅ ｍａｘｉｍｕｍ ｖａｌｕｅｓ ｏｆ ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ｆｕｎｃｔｉｏｎ ｗｅｒｅ ｄｅｒｉｖｅｄ ｒｅ⁃ ｓｐｅｃｔｉｖｅｌｙ ａｔ ｔｈｅ ｉｎｔｅｒｖａｌｓ ［０，ε］ ａｎｄ （ε， ＋ ¥） ； ｆｏｕｒｔｈ， ｔｈｅ ｔｗｏ ｍａｘｉｍｕｍ ｖａｌｕｅｓ ｗｅｒｅ ｃｏｍｐａｒｅｄ， ａｎｄ ｆｉｎａｌｌｙ ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｙ ｗａｓ ｏｂｔａｉｎｅｄ． Ｔｈｒｏｕｇｈ ｔｈｅ ｃａｌｃｕｌａｔｉｏｎ ｗｉｔｈ ｅｘａｍｐｌｅｓ， ｔｈｅ ｃｏｒｒｅｃｔｎｅｓｓ ａｎｄ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ ｍｅｔｈｏｄ ｗａｓ ｖａｌｉｄａｔｅｄ， ａｎｄ ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｙ ｐｒｏｂｌｅｍ ｏｆ ｔｈｅ ｉｎｆｉｎｉｔｅ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎｓ ｗａｓ ｓｙｓｔｅｍａｔｉｃａｌｌｙ ｓｏｌｖｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｗｈｉｃｈ ｏｆｆｅｒｓ ｂａｓｉｃ ｔｈｅｏｒｅｔｉｃａｌ ｓｕｐｐｏｒｔ ｆｏｒ ｓｍｏｏｔｈ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ； ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎ； ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｉｅｓ； ｓｙｍｍｅｔｒｉｃ ｆｕｎｃｔｉｏｎ 收稿日期：２０１２⁃１１⁃０２． 网络出版日期：２０１３⁃０５⁃１５． 基金项目：广东省自然科学基金资助项目（９１５１１７０００３００００１７）；东莞 市科技计划资助项目（２０１２１０８１０２０２７）． 通信作者：熊金志． Ｅ⁃ｍａｉｌ：ｄｇｘｉｏｎｇｊｉｎｚｈｉ＠ １２６．ｃｏｍ． 光滑函数在支持向量机中得到了成功应用，特 别是对分类问题获得了良好的效果［１⁃３］ ．对回归问 题，国内外学者进行了深入研究，如 Ｌｅｅ 等［４］找到一 类 ｐ ２ ε ⁃函数，并作为光滑函数对回归问题中的目标函 数进行光滑处理，提出 ε⁃不敏感的光滑支持向量回 归机模型．其实验结果表明，这种光滑支持向量回归 机在一定程度上改善了回归效果．为使支持向量回 归机的效果得到进一步改善，针对原支持向量回归 机中 ε⁃不敏感损失函数的平方项不光滑的问题， ２００８ 年笔者又提出了一类多项式光滑函数［５］ ．这类 多项式光滑函数的形式复杂，具有以下 ３ 个显著特 点：１）这种多项式光滑函数有无穷多个；２） 每个多 项式光滑函数都是某个多项式函数的复合函数；３） 每个多项式光滑函数都是三段函数［５⁃６］ ．按照光滑技 术的基本思路，用多项式光滑函数对原支持向量回
第3期 冯能山，等：支持向量回归机多项式光滑函数的逼近精度 ·267· 归机模型进行光滑处理，可以得到支持向量机的光 键作用，因此光滑函数与！·2的逼近精度是光滑 滑模型，从而提高回归速度，而这个过程必须用到多 支持向量回归机的一个重要理论问题)，也是本文 项式光滑函数的逼近精度[4.因此，多项式光滑函数 要研究的问题.为便于研究，下面列出支持向量回归 的逼近精度是光滑支持向量回归机必须解决的一个 机的多项式光滑函数 重要问题.该问题是否存在一个统一的求解方法，多 1.3光滑函数 年来一直是一个尚待解决的问题，刀对此，本文提 文献[5]已对ε-不敏感损失函数1xl,及其平方 出五步求的基本思路，并用二分法试图系统解决这 函数1x2的多项式光滑函数进行了定义和说明，在 个问题 此不再赘述.为便于分析，先给出支持向量回归机的 1支持向量回归机及其光滑函数 多项式光滑函数 引理1)设p(x,k)是正号函数x,的d阶多 1.1回归问题 项式光滑函数，令函数P(x,k)满足： 对数据集S={(x1,y1),(x22),…,(xmyn)} pi(x,k)=pa (x-s,k)2+pa(-x-s,k)2, R"×R,令矩阵A=[x1x2…xm],x:是一个n维向量， (3) 每个x:对应有一个观测值y.显然A∈Rm,S= 则p(x,k)是Ixl2的d阶多项式光滑函数 {(A:y:)lA:∈R,y:eR},i=1,2,…,m,其中A:是 可见，Ix12的光滑函数p(x,k)是正号函数x, 矩阵A的第i个向量.回归的目的是利用给定的数 的光滑逼近p(x,k)的复合函数，而Pu(x,k)由文献 据集S,训练出一个回归函数f(x),使f(x)能对新的 [6]知有无穷多个，皆可由一个递推公式求出. 输入x较准确地预测出输出y,这就是回归问题.采 因此，由引理1可求得一类的1x12具有d阶光 用的标准是ε-不敏感损失函数：1y-f代x)I.= 滑的多项式光滑函数： max{0,ly-f(x)1-e}.对于线性回归的情形，f(x)= {p(x,k),d=1,2,…{ (4) w'x+b,其中w∈R”是一个待定向量，b是一个待定 显然，这种光滑函数有无穷多个，下面以d=1, 常量[89 2,3,4,5为例分别求出1x12的前5个光滑函数. 1.2支持向量回归机 1)当d=1时，1x12的光滑函数为 上述回归问题可表示为无约束最优化问题： Pi(x,k)=P1(x-6,k)2+P1(-x-E,k)2.(5) 1 0R2(w'w+6)+ min ∑1A,w+b-:12 式中： 21 Pi(x,k)= (1) 1 式中：C为一个大于0的惩罚参数.式(1)称为无约 X≥ 束的支持向量回归机模型.由于式(1)中！·2不光 k 1,11 滑，导致此模型的目标函数不光滑.因此该支持向量 】x2+。x+Ak,k下、 回归机不能用快速的Newton-Armijo算法进行求解， 1 使得模型的精度和效率受到影响.为此，用一类d阶 0,x≤-K 光滑的多项式函数p(x,k)作为光滑函数，逼近上 2)当d=2时，IxI2的光滑函数为 述支持向量回归机模型的！·2，得到 P2(x,k)=P2(x-6,k)2+P2(-x-E,k)2.(6) 「.，2(ww+6)+ 1 )min 式中： P2(x,k)= C(A +b-y:k) 2台 (2) 1 x,x≥ 因此该支持向量回归机是光滑的，可用快速的 1 1 Newton-Armijo算法进行求解，从而提高模型的精度 16x+1)(-3),-石<x<: 和效率称式(2)为d阶多项式光滑的支持向量回归 机，多项式函数p(x,k)称为支持向量回归机的多 项式光滑函数). 3)当d=3时，lxl2的光滑函数为 容易看出，在把原支持向量回归机模型变换为 P(x,k)=P3(x-6,k)2+P3(-x-E,k)2 光滑的支持向量回归机的过程中，光滑函数起了关 式中：
归机模型进行光滑处理，可以得到支持向量机的光 滑模型，从而提高回归速度，而这个过程必须用到多 项式光滑函数的逼近精度［４］ ．因此，多项式光滑函数 的逼近精度是光滑支持向量回归机必须解决的一个 重要问题．该问题是否存在一个统一的求解方法，多 年来一直是一个尚待解决的问题［５，７］ ．对此，本文提 出五步求的基本思路，并用二分法试图系统解决这 个问题． １ 支持向量回归机及其光滑函数 １．１ 回归问题 对数据集 Ｓ ＝ ｛（ｘ１，ｙ１），（ｘ２，ｙ２），…，（ｘｍ，ｙｍ）｝⊆ Ｒ ｎ×Ｒ，令矩阵 Ａ＝ ［ｘ１ ｘ２… ｘｍ ］，ｘｉ 是一个 ｎ 维向量， 每个 ｘｉ 对应有一个观测值 ｙｉ ． 显然 Ａ∈Ｒ ｎ×ｍ ， Ｓ ＝ ｛（Ａｉ，ｙｉ） ｜Ａｉ∈Ｒ ｎ ，ｙｉ∈Ｒ｝，ｉ ＝ １，２，…，ｍ，其中 Ａｉ 是 矩阵 Ａ 的第 ｉ 个向量．回归的目的是利用给定的数 据集 Ｓ，训练出一个回归函数 ｆ（ｘ），使ｆ（ｘ）能对新的 输入 ｘ 较准确地预测出输出 ｙ，这就是回归问题．采 用 的 标 准 是 ε⁃不 敏 感 损 失 函 数： ｜ ｙ－ｆ（ｘ） ｜ ε ＝ ｍａｘ｛０， ｜ ｙ－ｆ（ｘ） ｜ －ε｝．对于线性回归的情形，ｆ（ ｘ） ＝ ｗ Ｔ ｘ＋ｂ，其中 ｗ∈Ｒ ｎ 是一个待定向量，ｂ 是一个待定 常量［８⁃９］ ． １．２ 支持向量回归机 上述回归问题可表示为无约束最优化问题［５］ ： ｍｉｎ （ｗ，ｂ）∈Ｒｎ＋１ １ ２ （ｗ Ｔｗ ＋ ｂ ２ ） ＋ Ｃ ２ ∑ ｍ ｉ ＝ １ ｜ Ａｉｗ ＋ ｂ － ｙｉ ｜ ２ ε ． （１） 式中：Ｃ 为一个大于 ０ 的惩罚参数．式（１）称为无约 束的支持向量回归机模型．由于式（１）中 ｜ · ｜ ２ ε 不光 滑，导致此模型的目标函数不光滑．因此该支持向量 回归机不能用快速的 Ｎｅｗｔｏｎ⁃Ａｒｍｉｊｏ 算法进行求解， 使得模型的精度和效率受到影响．为此，用一类 ｄ 阶 光滑的多项式函数 ｐ ２ ｄε（ ｘ，ｋ）作为光滑函数，逼近上 述支持向量回归机模型的｜·｜ ２ ε ，得到 ｍｉｎ （ｗ，ｂ）∈Ｒｎ＋１ φｄε，ｋ（ｗ，ｂ） ∶ ＝ ｍｉｎ （ｗ，ｂ）∈Ｒｎ＋１ １ ２ （ｗ Ｔｗ ＋ ｂ ２ ） ＋ Ｃ ２ ∑ ｍ ｉ ＝ １ ｐ ２ ｄε（Ａｉｗ ＋ ｂ － ｙｉ，ｋ） （２） 因此该支持向量回归机是光滑的，可用快速的 Ｎｅｗｔｏｎ⁃Ａｒｍｉｊｏ 算法进行求解，从而提高模型的精度 和效率．称式（２）为 ｄ 阶多项式光滑的支持向量回归 机，多项式函数 ｐ ２ ｄε（ ｘ，ｋ）称为支持向量回归机的多 项式光滑函数［５］ ． 容易看出，在把原支持向量回归机模型变换为 光滑的支持向量回归机的过程中，光滑函数起了关 键作用，因此光滑函数与 ｜ · ｜ ２ ε 的逼近精度是光滑 支持向量回归机的一个重要理论问题［５］ ，也是本文 要研究的问题．为便于研究，下面列出支持向量回归 机的多项式光滑函数． １．３ 光滑函数 文献［５］已对 ε⁃不敏感损失函数｜ ｘ ｜ ε 及其平方 函数｜ ｘ ｜ ２ ε 的多项式光滑函数进行了定义和说明，在 此不再赘述．为便于分析，先给出支持向量回归机的 多项式光滑函数． 引理 １ ［５］ 设 ｐｄ（ｘ，ｋ）是正号函数 ｘ＋的 ｄ 阶多 项式光滑函数，令函数 ｐ ２ ｄε（ｘ，ｋ）满足： ｐ ２ ｄε（ｘ，ｋ） ＝ ｐｄ （ｘ － ε，ｋ） ２ ＋ ｐｄ （ － ｘ － ε，ｋ） ２ ， （３） 则 ｐ ２ ｄε（ｘ，ｋ）是｜ ｘ ｜ ２ ε 的 ｄ 阶多项式光滑函数． 可见， ｜ ｘ ｜ ２ ε 的光滑函数 ｐ ２ ｄε（ｘ，ｋ）是正号函数 ｘ＋ 的光滑逼近 ｐｄ（ｘ，ｋ）的复合函数，而 ｐｄ（ｘ，ｋ）由文献 ［６］知有无穷多个，皆可由一个递推公式求出． 因此，由引理 １ 可求得一类的 ｜ ｘ ｜ ２ ε 具有 ｄ 阶光 滑的多项式光滑函数： ｛ｐ ２ ｄε（ｘ，ｋ），ｄ ＝ １，２，…｝． （４） 显然，这种光滑函数有无穷多个，下面以 ｄ ＝ １， ２，３，４，５ 为例分别求出｜ ｘ ｜ ２ ε 的前 ５ 个光滑函数． １）当 ｄ ＝ １ 时， ｜ ｘ ｜ ２ ε 的光滑函数为 ｐ ２ １ε（ｘ，ｋ） ＝ ｐ１（ｘ － ε，ｋ） ２ ＋ ｐ１（ － ｘ － ε，ｋ） ２ ． （５） 式中： ｐ１（ｘ，ｋ） ＝ ｘ， ｘ ≥ １ ｋ ； ｋ ４ ｘ ２ ＋ １ ２ ｘ ＋ １ ４ｋ ， － １ ｋ ＜ ｘ ＜ １ ｋ ； ０， ｘ ≤－ １ ｋ ． ì î í ï ï ï ï ï ï ïï ２）当 ｄ ＝ ２ 时， ｜ ｘ ｜ ２ ε 的光滑函数为 ｐ ２ ２ε（ｘ，ｋ） ＝ ｐ２（ｘ － ε，ｋ） ２ ＋ ｐ２（ － ｘ － ε，ｋ） ２ ． （６） 式中： ｐ２（ｘ，ｋ） ＝ ｘ， ｘ ≥ １ ｋ ； － １ １６ｋ （ｋｘ ＋ １） ３ （ｋｘ － ３）， － １ ｋ ＜ ｘ ＜ １ ｋ ； ０， ｘ ≤－ １ ｋ ． ì î í ï ï ï ï ï ï ïï ３）当 ｄ ＝ ３ 时， ｜ ｘ ｜ ２ ε 的光滑函数为 ｐ ２ ３ε（ｘ，ｋ） ＝ ｐ３（ｘ － ε，ｋ） ２ ＋ ｐ３（ － ｘ － ε，ｋ） ２ ． 式中： 第 ３ 期 冯能山，等：支持向量回归机多项式光滑函数的逼近精度 ·２６７·
·268· 智能系统学报 第8卷 P3(x,k)= 1)F（x,k)是x的对称函数： x, x≥k 2)F(x,k)≤ra/2 其中ra为一个与p(x,k)的光滑阶数d相关的误 +x-+5列.-E时，-x+ε<0，显然有-x-E<-x+E<0,因 p(x,k)=P5(x-E,k)2+P5(-x-E,k)2 此(-x-e),=0.因Pa(x,k)是单调增函数[6，可知 式中： P(-x-8,k)≤P(0,k).由二分法可算出Pu(x,k) P5(x,k)= 与正号函数x,的逼近精度：Pa(x,k)2-x子≤sa/k2,其 1 x,x≥ 中s4为一个与p(x,k)的光滑阶数d相关的系数 由文献[4]知，1x12=(x-8)+(-x-e),因此 512k+1)(kx-42x3+1022x2- 1 Fi(x,k)=pi(x,k)-1x12= 1 1 P(x-E,k)2-(x-E)3+P(-x-6,k)2, 122kx+63),-本<t< 即 Fae(x,k)sa/k2 +p(0,k)2. (9) 0,x≤- 综合①、②，取式(8)和(9)中右端的最大值，令 ra max2kpa(0,k)2,sa +kpa(0,k)2, 2多项式光滑函数的逼近精度及其求 可得 解步骤 F(x,k)≤Ta/k2,x∈R (10) 证毕. 2.1任意阶多项式光滑函数的逼近精度 2.2 求逼近精度的一般步骤 支持向量回归机的任意阶多项式光滑函数 这无穷多个多项式光滑函数有一个共同特征： P(x,k),其具体形式皆可由式(4)推出，这种光滑 都是正号函数x,的光滑逼近P(x,k)形如式(5)的 函数显然有无穷多个.这无穷多个光滑函数逼近ε 复合函数，而p(x,k)皆可由文献[6]的递推公式求 不敏感损失函数的平方项1x2的精度问题，显然皆 出.上文求出了任意阶光滑函数的逼近精度的表达 可描述为求p(x,k)-|x12的最大值问题记 式(10)，下面对这些求解过程进行归纳和总结，可 F(x,k)=p2(x,k)-x12, (7) 发现求解的一般规律.根据这个规律，提出五步求的 称F(x,k)为光滑函数p(x,k)的误差函数，这种 基本思路，即求逼近精度的一般步骤。 误差函数显然也有无穷多个，且与光滑函数 1)把求光滑函数P(x,k)的逼近精度问题表示 P(x,k)一一对应. 为一个在整个x轴上求误差函数F(x,k)的最大值 定理1误差函数F(x,k)由式(7)给出，则 问题：
ｐ３（ｘ，ｋ） ＝ ｘ， ｘ ≥ １ ｋ ； １ ３２ｋ （ｋｘ ＋ １） ４ （ｋ ２ ｘ ２ － ４ｋｘ ＋ ５）， － １ ｋ ＜ ｘ ＜ １ ｋ ； ０， ｘ ≤－ １ ｋ ． ì î í ï ï ï ï ï ï ïï ４）当 ｄ ＝ ４ 时， ｜ ｘ ｜ ２ ε 的光滑函数为 ｐ ２ ４ε（ｘ，ｋ） ＝ ｐ４（ｘ － ε，ｋ） ２ ＋ ｐ４（ － ｘ － ε，ｋ） ２ ． 式中： ｐ４（ｘ，ｋ） ＝ ｘ， ｘ ≥ １ ｋ ； － １ ２５６ｋ （ｋｘ ＋ １） ５ （５ｋ ３ ｘ ３ － ２５ｋ ２ ｘ ２ ＋ ４７ｋｘ － ３５）， － １ ｋ ＜ ｘ ＜ １ ｋ ； ０， ｘ ≤－ １ ｋ ． ì î í ï ï ï ï ï ï ï ï ï ï ５）当 ｄ ＝ ５ 时， ｜ ｘ ｜ ２ ε 的光滑函数为 ｐ ２ ５ε（ｘ，ｋ） ＝ ｐ５（ｘ － ε，ｋ） ２ ＋ ｐ５（ － ｘ － ε，ｋ） ２ ． 式中： ｐ５（ｘ，ｋ） ＝ ｘ， ｘ ≥ １ ｋ ； １ ５１２ｋ （ｋｘ ＋ １） ６ （ｋ ４ ｘ ４ － ４２ｋ ３ ｘ ３ ＋ １０２ｋ ２ ｘ ２ － １２２ｋｘ ＋ ６３）， － １ ｋ ＜ ｘ ＜ １ ｋ ； ０， ｘ ≤－ １ ｋ ． ì î í ï ï ï ï ï ï ï ï ï ï ２ 多项式光滑函数的逼近精度及其求 解步骤 ２．１ 任意阶多项式光滑函数的逼近精度 支持向量回归机的任意阶多项式光滑函数 ｐ ２ ｄε（ｘ，ｋ），其具体形式皆可由式（４）推出，这种光滑 函数显然有无穷多个．这无穷多个光滑函数逼近 ε⁃ 不敏感损失函数的平方项 ｜ ｘ ｜ ２ ε 的精度问题，显然皆 可描述为求 ｐ ２ ｄε（ｘ，ｋ）－ ｜ ｘ ｜ ２ ε 的最大值问题．记 Ｆｄε（ｘ，ｋ） ＝ ｐ ２ ｄε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ， （７） 称 Ｆｄε（ｘ，ｋ）为光滑函数 ｐ ２ ｄε（ｘ，ｋ）的误差函数，这种 误差 函 数 显 然 也 有 无 穷 多 个， 且 与 光 滑 函 数 ｐ ２ ｄε（ｘ，ｋ）一一对应． 定理 １ 误差函数 Ｆｄε（ｘ，ｋ）由式（７）给出，则 １）Ｆｄε（ｘ，ｋ）是 ｘ 的对称函数； ２）Ｆｄε（ｘ，ｋ）≤ｒｄ ／ ｋ ２ ． 其中 ｒｄ 为一个与 ｐ ２ ｄε（ ｘ，ｋ）的光滑阶数 ｄ 相关的误 差系数． 证明 １）将－ｘ 代入式（７），结合式（５），可得 Ｆｄε（ － ｘ，ｋ） ＝ ｐ ２ ｄε（ － ｘ，ｋ） －｜ － ｘ ｜ ２ ε ＝ ｐ ２ ｄε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ＝ Ｆｄε（ｘ，ｋ）， 可见 Ｆｄε（ ｘ，ｋ） 是对称函数． 因此在整个 ｘ 轴上求 Ｆｄε（ｘ，ｋ）的最大值问题可转换成在 ｘ 轴的右半轴上 求 Ｆｄε（ｘ，ｋ）的最大值问题． ２）把 ｘ 轴的右半轴分成 ２ 个区间进行证明： ①当 ０≤ｘ≤ε 时，显然｜ ｘ ｜ ε ＝ ０．因此 Ｆｄε（ｘ，ｋ） ＝ ｐ ２ ｄ ε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ＝ ｐｄ（ｘ － ε，ｋ） ２ ＋ ｐｄ（ － ｘ － ε，ｋ） ２ ． 此时显然有 ｘ－ε≤０ 和－ｘ－ε≤０，因 ｐｄ（ｘ，ｋ） ２ 是单调 增函数［６］ ，可得 Ｆｄε（ｘ，ｋ） ≤ ２ｐｄ（０，ｋ） ２ ． （８） ②当 ｘ＞ε 时，－ｘ＋ε＜０，显然有－ｘ－ε＜－ｘ＋ε＜０，因 此（－ｘ－ε） ＋ ＝ ０．因 ｐｄ （ ｘ，ｋ） 是单调增函数［６］ ，可知 ｐｄ（－ｘ－ε，ｋ）≤ｐｄ（０，ｋ）．由二分法可算出 ｐｄ （ ｘ，ｋ） ２ 与正号函数 ｘ＋的逼近精度：ｐｄ（ ｘ，ｋ） ２ －ｘ ２ ＋≤ｓｄ ／ ｋ ２ ，其 中 ｓｄ 为一个与 ｐ ２ ｄε（ｘ，ｋ）的光滑阶数 ｄ 相关的系数． 由文献［４］知， ｜ ｘ ｜ ２ ε ＝ （ｘ－ε） ２ ＋ ＋（－ｘ－ε） ２ ＋ ，因此 Ｆｄε（ｘ，ｋ） ＝ ｐ ２ ｄε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ＝ ｐｄ（ｘ － ε，ｋ） ２ － （ｘ － ε） ２ ＋ ＋ ｐｄ（ － ｘ － ε，ｋ） ２ ， 即 Ｆｄε（ｘ，ｋ） ≤ ｓｄ ／ ｋ ２ ＋ ｐｄ（０，ｋ） ２ ． （９） 综合①、②，取式（８）和（９）中右端的最大值，令 ｒｄ ＝ ｍａｘ｛２ｋ ２ ｐｄ（０，ｋ） ２ ，ｓｄ ＋ ｋ ２ ｐｄ（０，ｋ） ２ ｝， 可得 Ｆｄε（ｘ，ｋ） ≤ ｒｄ ／ ｋ ２ ，ｘ ∈ Ｒ． （１０） 证毕． ２．２ 求逼近精度的一般步骤 这无穷多个多项式光滑函数有一个共同特征： 都是正号函数 ｘ＋的光滑逼近 ｐｄ（ ｘ，ｋ）形如式（５）的 复合函数，而 ｐｄ（ｘ，ｋ）皆可由文献［６］的递推公式求 出．上文求出了任意阶光滑函数的逼近精度的表达 式（１０），下面对这些求解过程进行归纳和总结，可 发现求解的一般规律．根据这个规律，提出五步求的 基本思路，即求逼近精度的一般步骤． １）把求光滑函数 ｐ ２ ｄε（ｘ，ｋ）的逼近精度问题表示 为一个在整个 ｘ 轴上求误差函数 Ｆｄε（ｘ，ｋ）的最大值 问题： ·２６８· 智 能 系 统 学 报 第 ８ 卷
第3期 冯能山，等：支持向量回归机多项式光滑函数的逼近精度 ·269· F(x,k)=p2(x,k)-x12; 时-x+Ee时误差函数F(x,k)的最大值； 1x2=(x-e)2+(-x-e),因此 5)对这2个最大值进行比较，最大者即为光滑 Fi(x,k)=pie(x,k)-1x12= 函数的逼近精度. P1(x-e,k)2-(x-e)+P1(-x-E,k)2≤ 2.3一阶多项式光滑函数的逼近精度 仿照定理1及求任意阶多项式光滑函数的逼近 11+p(0,k)2=0.1534/ 1 精度的基本思想和步骤，下面具体求出一阶多项式 5)对这2个最大值进行比较，最大者即为光滑 光滑函数的逼近精度. 函数的逼近精度.综合4)和5)的结果易知，11= 推论1一阶多项式光滑函数的逼近精度为 0.1534,F.(x,k)≤0.1534/k2.0.1534/k2即为一 0.1534/k2 阶多项式光滑函数的逼近精度， 证明 证毕 1)把求光滑函数P(x,k)的逼近精度问题表示 2.4二阶至五阶多项式光滑函数的逼近精度 为一个在整个x轴上求误差函数F(x,k)的最大值 支持向量回归机的二阶多项式光滑函数的形式 问题.支持向量回归机的一阶多项式光滑函数的形 如式(6).仿照上面求一阶多项式光滑函数的逼近精 式如式(5).把多项式光滑函数应用于支持向量回归 度的基本思想和步骤，可把二阶多项式光滑函数逼 机，首先必须解决多项式光滑函数逼近ε-不敏感损 近ε-不敏感损失函数的平方项Ix2的精度问题描 失函数的平方项Ix?的精度问题.该问题可描述为 述为求p(x,k)-x2的最大值问题.记 个求p(x,k)-lx2的最大值问题，记 F2(x,k)=P2(x,k)-lx12, Fi(x,k)=pi(x,k)-1x12, (11) 称F(x,k)为光滑函数p2(x,k)的误差函数 称F(x,k)为光滑函数p(x,k)的误差函数因此， 推论2二阶多项式光滑函数的逼近精度为 求多项式光滑函数逼近ε不敏感损失函数的平方 0.08779/k2. 项Ix2的精度问题，就可转换成求F(x,k)的最大 证明过程与定理1及推论1类似，在此省略。 值问题 以上内容求出了一阶和二阶光滑函数的逼近精 2)证明F(x,k)是对称函数，把在整个x轴上 度，同理以同样的步骤，可求出三阶、四阶和五阶光 求F(x,k)的最大值问题转换成在x轴的右半轴上 滑函数的逼近精度，求解过程省略.表1列出一阶至 求F(x,k)的最大值问题将-x代入式(11)，结合 五阶多项式光滑函数的逼近精度. 式(5)，可得 表1多项式光滑函数的逼近精度 F(-x,k)=P(-x,k)-|-xl2= Table 1 The approximation accuracies of polynomial pie(x,k)-IxI2=F(x,k). smoothing functions 可见F(x,k)是对称函数.因此在整个x轴上求 光滑函数 光滑阶数d 误差系数r 逼近精度 F(x,k)的最大值问题就转换成了在x轴的右半轴 pie(x,k) 0.15340 0.15340/k2 上求F(x,k)的最大值问题 pi(x,k) 2 0.08778 3)求当0≤x≤8时误差函数F(x,k)的最大 0.08778/k2 值.此时显然|xl,=0.因此 pi(x,k) 3 0.03578 0.03578/k2 Fi(x,k)=pie(x,k)-1x12= pi(x,k) 4 0.02763 0.02763/k2 P1(x-E,k)2+P1(-x-E,k)2, p(x.k) 5 0.02433 0.02433/2 此时显然有x-s≤0和-x-g≤0，因P1(x,k)2是单调 因此，依照上述五步求的基本思路和步骤，可求 增函数3,6，可得 出支持向量回归机无穷多个光滑函数的逼近精度. F(x)≤24，(0.62=2(02=0125/ 3结束语 4)求当x>e时误差函数F(x,k)的最大值.此 为求支持向量回归机光滑函数的逼近精度，首
Ｆｄε（ｘ，ｋ） ＝ ｐ ２ ｄε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ； ２）证明 Ｆｄε（ｘ，ｋ）是对称函数，把在整个 ｘ 轴上 求 Ｆｄε（ｘ，ｋ）的最大值问题转换成在 ｘ 轴的右半轴上 求 Ｆｄε（ｘ，ｋ）的最大值问题； ３）求当 ０≤ｘ≤ε 时误差函数 Ｆｄε（ｘ，ｋ）的最大值； ４）求当 ｘ＞ε 时误差函数 Ｆｄε（ｘ，ｋ）的最大值； ５）对这 ２ 个最大值进行比较，最大者即为光滑 函数的逼近精度． ２．３ 一阶多项式光滑函数的逼近精度 仿照定理 １ 及求任意阶多项式光滑函数的逼近 精度的基本思想和步骤，下面具体求出一阶多项式 光滑函数的逼近精度． 推论 １ 一阶多项式光滑函数的逼近精度为 ０．１５３ ４ ／ ｋ ２ ． 证明 １）把求光滑函数 ｐ ２ １ε（ｘ，ｋ）的逼近精度问题表示 为一个在整个 ｘ 轴上求误差函数 Ｆ１ε（ｘ，ｋ）的最大值 问题．支持向量回归机的一阶多项式光滑函数的形 式如式（５）．把多项式光滑函数应用于支持向量回归 机，首先必须解决多项式光滑函数逼近 ε⁃不敏感损 失函数的平方项｜ ｘ ｜ ２ ε 的精度问题．该问题可描述为 一个求 ｐ ２ １ε（ｘ，ｋ）－ ｜ ｘ ｜ ２ ε 的最大值问题，记 Ｆ１ε（ｘ，ｋ） ＝ ｐ ２ １ε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ， （１１） 称 Ｆ１ε（ｘ，ｋ）为光滑函数 ｐ ２ １ε（ｘ，ｋ）的误差函数．因此， 求多项式光滑函数逼近 ε⁃不敏感损失函数的平方 项｜ ｘ ｜ ２ ε 的精度问题，就可转换成求 Ｆ１ε（ｘ，ｋ）的最大 值问题． ２）证明 Ｆ１ε（ｘ，ｋ）是对称函数，把在整个 ｘ 轴上 求 Ｆ１ε（ｘ，ｋ）的最大值问题转换成在 ｘ 轴的右半轴上 求Ｆ１ε（ｘ，ｋ）的最大值问题．将－ｘ 代入式（１１），结合 式（５），可得 Ｆ１ε（ － ｘ，ｋ） ＝ ｐ ２ １ε（ － ｘ，ｋ） －｜ － ｘ ｜ ２ ε ＝ ｐ ２ １ε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ＝ Ｆ１ε（ｘ，ｋ）． 可见 Ｆ１ε（ ｘ，ｋ） 是对称函数． 因此在整个 ｘ 轴上求 Ｆ１ε（ｘ，ｋ）的最大值问题就转换成了在 ｘ 轴的右半轴 上求 Ｆ１ε（ｘ，ｋ）的最大值问题． ３）求当 ０≤ｘ≤ε 时误差函数 Ｆ１ε（ ｘ，ｋ） 的最大 值．此时显然 ｜ ｘ ｜ ε ＝ ０．因此 Ｆ１ε（ｘ，ｋ） ＝ ｐ ２ １ε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ＝ ｐ１（ｘ － ε，ｋ） ２ ＋ ｐ１（ － ｘ － ε，ｋ） ２ ， 此时显然有 ｘ－ε≤０ 和－ｘ－ε≤０，因 ｐ１（ｘ，ｋ） ２ 是单调 增函数［３，６］ ，可得 Ｆ１ε（ｘ，ｋ） ≤ ２ｐ１（０，ｋ） ２ ＝ ２（ １ ４ｋ ） ２ ＝ ０．１２５ ／ ｋ ２ ． ４）求当 ｘ＞ε 时误差函数 Ｆ１ε（ ｘ，ｋ）的最大值．此 时－ｘ＋ε＜０，显然有－ｘ－ε＜－ｘ＋ε＜０ ，因此（ －ｘ－ε） ＋ ＝ ０．因 ｐ１（ｘ，ｋ）是单调增函数［３，６］ ，可知 ｐ１（－ｘ－ε，ｋ）≤ ｐ１（０，ｋ）．由二分法［１０］可算出 ｐ１（ｘ，ｋ）与正号函数 ｘ＋ 的逼近精度［３］ ： ｐ１（ｘ，ｋ） ２ －ｘ ２ ＋≤ １ １１ｋ ２ ．由文献［５］知， ｜ ｘ ｜ ２ ε ＝ （ｘ－ε） ２ ＋ ＋（－ｘ－ε） ２ ＋ ，因此 Ｆ１ε（ｘ，ｋ） ＝ ｐ ２ １ε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ＝ ｐ１（ｘ － ε，ｋ） ２ － （ｘ － ε） ２ ＋ ＋ ｐ１（ － ｘ － ε，ｋ） ２ ≤ １ １１ｋ ２ ＋ ｐ１（０，ｋ） ２ ＝ ０．１５３ ４ ／ ｋ ２ ． ５）对这 ２ 个最大值进行比较，最大者即为光滑 函数的逼近精度． 综合 ４） 和 ５） 的结果易知， ｒ１ ＝ ０．１５３ ４，Ｆ１ε（ｘ，ｋ）≤０．１５３ ４ ／ ｋ ２ ． ０．１５３ ４ ／ ｋ ２ 即为一 阶多项式光滑函数的逼近精度． 证毕． ２．４ 二阶至五阶多项式光滑函数的逼近精度 支持向量回归机的二阶多项式光滑函数的形式 如式（６）．仿照上面求一阶多项式光滑函数的逼近精 度的基本思想和步骤，可把二阶多项式光滑函数逼 近 ε⁃不敏感损失函数的平方项 ｜ ｘ ｜ ２ ε 的精度问题描 述为求 ｐ ２ ２ε（ｘ，ｋ）－ ｜ ｘ ｜ ２ ε 的最大值问题．记 Ｆ２ε（ｘ，ｋ） ＝ ｐ ２ ２ε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ， 称 Ｆ２ε（ｘ，ｋ）为光滑函数 ｐ ２ ２ε（ｘ，ｋ）的误差函数． 推论 ２ 二阶多项式光滑函数的逼近精度为 ０．０８７ ７９ ／ ｋ ２ ． 证明过程与定理 １ 及推论 １ 类似，在此省略． 以上内容求出了一阶和二阶光滑函数的逼近精 度，同理以同样的步骤，可求出三阶、四阶和五阶光 滑函数的逼近精度，求解过程省略．表 １ 列出一阶至 五阶多项式光滑函数的逼近精度． 表 １ 多项式光滑函数的逼近精度 Ｔａｂｌｅ １ Ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｉｅｓ ｏｆ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎｓ 光滑函数 光滑阶数 ｄ 误差系数 ｒｄ 逼近精度 ｐ ２ １ε（ｘ，ｋ） １ ０．１５３ ４０ ０．１５３ ４０ ／ ｋ ２ ｐ ２ ２ε（ｘ，ｋ） ２ ０．０８７ ７８ ０．０８７ ７８ ／ ｋ ２ ｐ ２ ３ε（ｘ，ｋ） ３ ０．０３５ ７８ ０．０３５ ７８ ／ ｋ ２ ｐ ２ ４ε（ｘ，ｋ） ４ ０．０２７ ６３ ０．０２７ ６３ ／ ｋ ２ ｐ ２ ５ε（ｘ，ｋ） ５ ０．０２４ ３３ ０．０２４ ３３ ／ ｋ ２ 因此，依照上述五步求的基本思路和步骤，可求 出支持向量回归机无穷多个光滑函数的逼近精度． ３ 结束语 为求支持向量回归机光滑函数的逼近精度，首 第 ３ 期 冯能山，等：支持向量回归机多项式光滑函数的逼近精度 ·２６９·
·270· 智能系统学报 第8卷 先把求光滑函数的逼近精度问题转化成求误差函数 functions for support vector regressions[].Pattern Recog- 的最大值问题：然后证明该误差函数是对称函数，把 nition and Artificial Intelligence,2008,21(3):273-279. 这个最大值问题转换成在x轴的右半轴上求最大值 [6]熊金志，胡金莲，袁华强，等.一类光滑支持向量机新函数 的问题：而后分别求当0≤x≤ε时和x>e时误差函 的研究[J].电子学报，2007,35(2)：366-370 数的最大值：最后对这2个最大值进行比较，求出光 XIONG Jinzhi,HU Jinlian,YUAN Huagiang,et al.Re- search on a new class of functions for smoothing support vec- 滑函数的逼近精度.以多个多项式光滑函数为例，解 tor machines Acta Electronica Sinica,2007,35(2): 决了它们的逼近精度问题在此基础上，总结出求此 366-370. 类精度问题的一般规律，对无穷多个光滑函数的精 [7]熊金志，徐建敏，袁华强.多项式光滑的支持向量回归机 度问题提出了五步求的基本思路.研究结果表明：对 一般模型的收敛性研究[J].计算机研究与发展，2011， 支持向量回归机的无穷多个多项式光滑函数，都可 48(3):464-470. 按照本文的思路和步骤，分5个步骤用二分法解决 XIONG Jinzhi,XU Jianmin,YUAN Huagiang.Conver- 其逼近精度问题.该方法成功解决了支持向量回归 genceness of a general formulation for polynomial smooth 机中一个尚待解决的问题，即支持向量回归机无穷 support vector regressions[J].Journal of Computer Research 多个光滑函数的逼近精度问题，为光滑支持向量回 and Development,2011,48(3):464-470. 归机的进一步研究工作提供了基本的理论支持. [8]李国正，王猛，曾华军支持向量机导论[M].北京：电子 工业出版社，2004：89-99. 参考文献： [9]邓乃扬，田英杰数据挖掘的新方法一支持向量机[M] 北京：科学出版社，2008：111-122 [1]LEE Y J,MANGASARIAN O L.SSVM:a smooth support [10]李庆扬.王能超，易大义.数值分析[M].5版.北京：清华 vector machine for classification[].Computational Optimi- 大学出版社，2011：125-136. zation and Applications,2001,22(1):5-21. 作者简介： [2]CHANG CC,CHIEN L J,LEE Y J.A novel framework for 冯能山，男，1972年生，讲师，博士 multi-class classification via ternary smooth support vector 研究生，主要研究方向为人工智能、软 machine[J].Pattern Recognition,2011,44(6):1235- 件工程。 1244. [3]钱晓山，阳春华.基于GEP的最小二乘支持向量机模型 参数选择[J].智能系统学报，2012,7(3)：225-229. QIAN Xiaoshan,YANG Chunhua.A parameter selection method of a least squares support vector machine based on 熊金志，男，1964年生，教授，中国 gene expression programming[J].CAAI Transactions on In- 计算机学会高级会员，东莞市科技创新 telligent Systems,2012,7(3):225-229. 团队核心成员，主要研究方向为人工智 [4]LEE Y J,HSIEH W F,HUANG C M.e-SSVR:a smooth 能.作为核心成员承担国家自然科学基 support vector machine for s-insensitive regression [J] 金项目2项，主持广东省科研项目3 IEEE Transactions on Knowledge and Data Engineering, 项、东莞市科研项目1项获广东省科技 2005,17(5):5-22. 进步二等奖和三等奖各1项、东莞市科技进步一等奖2项。 [5]熊金志，胡金莲，袁华强，等.支持向量回归机的光滑函数 发表学术论文40余篇，被SCI、EI、ISTP检索10余篇. 研究[J].模式识别与人工智能，2008,21(3)：273-279. XIONG Jinzhi,HU Jinlian,YUAN Huaqiang,et al.Smoothing
先把求光滑函数的逼近精度问题转化成求误差函数 的最大值问题；然后证明该误差函数是对称函数，把 这个最大值问题转换成在 ｘ 轴的右半轴上求最大值 的问题；而后分别求当 ０≤ｘ≤ε 时和 ｘ＞ε 时误差函 数的最大值；最后对这 ２ 个最大值进行比较，求出光 滑函数的逼近精度．以多个多项式光滑函数为例，解 决了它们的逼近精度问题．在此基础上，总结出求此 类精度问题的一般规律，对无穷多个光滑函数的精 度问题提出了五步求的基本思路．研究结果表明：对 支持向量回归机的无穷多个多项式光滑函数，都可 按照本文的思路和步骤，分 ５ 个步骤用二分法解决 其逼近精度问题．该方法成功解决了支持向量回归 机中一个尚待解决的问题，即支持向量回归机无穷 多个光滑函数的逼近精度问题，为光滑支持向量回 归机的进一步研究工作提供了基本的理论支持． 参考文献： ［１］ＬＥＥ Ｙ Ｊ， ＭＡＮＧＡＳＡＲＩＡＮ Ｏ Ｌ． ＳＳＶＭ： ａ ｓｍｏｏｔｈ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］． Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｏｐｔｉｍｉ⁃ ｚａｔｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ２００１， ２２（１）： ５⁃２１． ［２］ＣＨＡＮＧ Ｃ Ｃ， ＣＨＩＥＮ Ｌ Ｊ， ＬＥＥ Ｙ Ｊ． Ａ ｎｏｖｅｌ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｍｕｌｔｉ⁃ｃｌａｓｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｖｉａ ｔｅｒｎａｒｙ ｓｍｏｏｔｈ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ［ Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１１， ４４ （ ６）： １２３５⁃ １２４４． ［３］钱晓山，阳春华．基于 ＧＥＰ 的最小二乘支持向量机模型 参数选择［Ｊ］．智能系统学报， ２０１２， ７（３）： ２２５⁃２２９． ＱＩＡＮ Ｘｉａｏｓｈａｎ， ＹＡＮＧ Ｃｈｕｎｈｕａ． Ａ ｐａｒａｍｅｔｅｒ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ａ ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｂａｓｅｄ ｏｎ ｇｅｎｅ ｅｘｐｒｅｓｓｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎ⁃ ｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１２， ７（３）： ２２５⁃２２９． ［４］ＬＥＥ Ｙ Ｊ， ＨＳＩＥＨ Ｗ Ｆ， ＨＵＡＮＧ Ｃ Ｍ． ε⁃ＳＳＶＲ： ａ ｓｍｏｏｔｈ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｆｏｒ ε⁃ｉｎｓｅｎｓｉｔｉｖｅ ｒｅｇｒｅｓｓｉｏｎ ［ Ｊ ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｋｎｏｗｌｅｄｇｅ ａｎｄ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ， ２００５， １７（５）： ５⁃２２． ［５］熊金志，胡金莲，袁华强，等．支持向量回归机的光滑函数 研究［Ｊ］．模式识别与人工智能， ２００８， ２１（３）： ２７３⁃２７９． ＸＩＯＮＧ Ｊｉｎｚｈｉ， ＨＵ Ｊｉｎｌｉａｎ， ＹＵＡＮ Ｈｕａｑｉａｎｇ， ｅｔ ａｌ． Ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎｓ［ Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇ⁃ ｎｉｔｉｏｎ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００８， ２１（３）： ２７３⁃２７９． ［６］熊金志，胡金莲，袁华强，等．一类光滑支持向量机新函数 的研究［Ｊ］．电子学报， ２００７， ３５（２）： ３６６⁃３７０． ＸＩＯＮＧ Ｊｉｎｚｈｉ， ＨＵ Ｊｉｎｌｉａｎ， ＹＵＡＮ Ｈｕａｑｉａｎｇ， ｅｔ ａｌ． Ｒｅ⁃ ｓｅａｒｃｈ ｏｎ ａ ｎｅｗ ｃｌａｓｓ ｏｆ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｓｍｏｏｔｈｉｎｇ ｓｕｐｐｏｒｔ ｖｅｃ⁃ ｔｏｒ ｍａｃｈｉｎｅｓ［ Ｊ］． Ａｃｔａ Ｅｌｅｃｔｒｏｎｉｃａ Ｓｉｎｉｃａ， ２００７， ３５（ ２）： ３６６⁃３７０． ［７］熊金志，徐建敏，袁华强．多项式光滑的支持向量回归机 一般模型的收敛性研究［ Ｊ］．计算机研究与发展， ２０１１， ４８（３）： ４６４⁃４７０． ＸＩＯＮＧ Ｊｉｎｚｈｉ， ＸＵ Ｊｉａｎｍｉｎ， ＹＵＡＮ Ｈｕａｑｉａｎｇ． Ｃｏｎｖｅｒ⁃ ｇｅｎｃｅｎｅｓｓ ｏｆ ａ ｇｅｎｅｒａｌ ｆｏｒｍｕｌａｔｉｏｎ ｆｏｒ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ， ２０１１， ４８（３）： ４６４⁃４７０． ［８］李国正，王猛，曾华军．支持向量机导论［Ｍ］．北京：电子 工业出版社， ２００４： ８９⁃９９． ［９］邓乃扬，田英杰．数据挖掘的新方法—支持向量机［Ｍ］． 北京：科学出版社， ２００８： １１１⁃１２２． ［１０］李庆扬，王能超，易大义．数值分析［Ｍ］．５ 版．北京：清华 大学出版社， ２０１１： １２５⁃１３６． 作者简介： 冯能山，男，１９７２ 年生，讲师，博士 研究生，主要研究方向为人工智能、软 件工程． 熊金志，男，１９６４ 年生，教授，中国 计算机学会高级会员，东莞市科技创新 团队核心成员，主要研究方向为人工智 能．作为核心成员承担国家自然科学基 金项目 ２ 项，主持广东省科研项目 ３ 项、东莞市科研项目 １ 项．获广东省科技 进步二等奖和三等奖各 １ 项、东莞市科技进步一等奖 ２ 项． 发表学术论文 ４０ 余篇，被 ＳＣＩ、ＥＩ、ＩＳＴＰ 检索 １０ 余篇． ·２７０· 智 能 系 统 学 报 第 ８ 卷
