第8卷第3期 智能系统学报 Vol.8 No.3 2013年6月 CAAI Transactions on Intelligent Systems Jum.2013 D0I:10.3969/i.issn.1673-4785.201211026 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20130515.0842.003.html 支持向量回归机多项式光滑函数的逼近精度 冯能山，熊金志 (东莞理工学院计算机学院，广东东莞523808) 摘要：为了解决支持向量回归机多项式光滑函数的逼近精度问题，根据该类光滑函数的复杂性，提出五步求的基 本思路：首先把多项式光滑函数的逼近精度问题表示为一个求逼近函数的最大值问题，接着证明这个逼近函数是一 个对称函数，然后分别求出逼近函数在[0，s]和（ε，+0）上的最大值，最后对这2个最大值进行比较，得出光滑函 数的逼近精度通过实例计算，结果证明了该方法的有效性和正确性，解决了无穷多个多项式光滑函数的逼近精度问 题，为光滑支持向量回归机提供了基本的理论支持. 关键词：支持向量回归机：多项式光滑函数：逼近精度：对称函数 中图分类号：TP18文献标志码：A文章编号：1673-4785(2013)03-0266-05 中文引用格式：冯能山，熊金志.支持向量回归机多项式光滑函数的逼近精度[J].智能系统学报，2013,8(3】：266-270 英文引用格式：FENG Nengshan,,XIONG Jinzhi.The approximation accuracies of polynomial smoothing functions for support vec tor regression[J].CAAI Transactions on Intelligent Systems,2013,8(3):266-270. The approximation accuracies of polynomial smoothing functions for support vector regression FENG Nengshan,XIONG Jinzhi Computer College,Dongguan University of Technology,Dongguan 523808,China) Abstract:In order to solve the problem of polynomial smoothing function's approximation accuracies for support vector regression,the researcher proposes to solve the problem utilizing a five step approach,according to the com- plexity of smooth functions.The first step,examines the problem of the approximation accuracy in the polynomial smoothing function represented by solving the maximum value of an approximation function;second,the function was verified to be a symmetric function;third,the maximum values of the approximation function were derived re- spectively at the intervals [0,s]and (s,+o);fourth,the two maximum values were compared,and finally the approximation accuracy was obtained.Through the calculation with examples,the correctness and effectiveness of the method was validated,and the approximation accuracy problem of the infinite polynomial smoothing functions was systematically solved in this paper,which offers basic theoretical support for smooth support vector regression. Keywords:support vector regression;polynomial smoothing function;approximation accuracies;symmetric function 光滑函数在支持向量机中得到了成功应用，特机在一定程度上改善了回归效果.为使支持向量回 别是对分类问题获得了良好的效果】对回归问 归机的效果得到进一步改善，针对原支持向量回归 题，国内外学者进行了深入研究，如Lee等找到一 机中ε-不敏感损失函数的平方项不光滑的问题， 类p2-函数，并作为光滑函数对回归问题中的目标函2008年笔者又提出了一类多项式光滑函数).这类 数进行光滑处理，提出ε不敏感的光滑支持向量回 多项式光滑函数的形式复杂，具有以下3个显著特 归机模型.其实验结果表明，这种光滑支持向量回归 点：1)这种多项式光滑函数有无穷多个：2)每个多 项式光滑函数都是某个多项式函数的复合函数：3) 收稿日期：2012-11-02.网络出版日期：2013-05-15. 基金项目：广东省自然科学基金资助项目(9151170003000017)：东莞 每个多项式光滑函数都是三段函数[s6].按照光滑技 市科技计划资助项目(2012108102027) 通信作者：熊金志.E-mail:dgxiongjinzhi(@126.com 术的基本思路，用多项式光滑函数对原支持向量回第 ８ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．８ №．３ ２０１３ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１３ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１２１１０２６ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１３０５１５．０８４２．００３．ｈｔｍｌ 支持向量回归机多项式光滑函数的逼近精度 冯能山，熊金志 （东莞理工学院 计算机学院，广东 东莞 ５２３８０８） 摘 要：为了解决支持向量回归机多项式光滑函数的逼近精度问题，根据该类光滑函数的复杂性，提出五步求的基 本思路：首先把多项式光滑函数的逼近精度问题表示为一个求逼近函数的最大值问题，接着证明这个逼近函数是一 个对称函数，然后分别求出逼近函数在 ［０，ε］ 和 （ε， ＋ ¥） 上的最大值，最后对这 ２ 个最大值进行比较，得出光滑函 数的逼近精度．通过实例计算，结果证明了该方法的有效性和正确性，解决了无穷多个多项式光滑函数的逼近精度问 题，为光滑支持向量回归机提供了基本的理论支持． 关键词：支持向量回归机；多项式光滑函数；逼近精度；对称函数 中图分类号： ＴＰ１８ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１３）０３⁃０２６６⁃０５ 中文引用格式：冯能山，熊金志．支持向量回归机多项式光滑函数的逼近精度［Ｊ］．智能系统学报， ２０１３， ８（３）： ２６６⁃２７０． 英文引用格式：ＦＥＮＧ Ｎｅｎｇｓｈａｎ， ＸＩＯＮＧ Ｊｉｎｚｈｉ． Ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｉｅｓ ｏｆ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｓｕｐｐｏｒｔ ｖｅｃ⁃ ｔｏｒ ｒｅｇｒｅｓｓｉｏｎ［Ｊ］．ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１３， ８（３）： ２６６⁃２７０． Ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｉｅｓ ｏｆ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ ＦＥＮＧ Ｎｅｎｇｓｈａｎ， ＸＩＯＮＧ Ｊｉｎｚｈｉ （Ｃｏｍｐｕｔｅｒ Ｃｏｌｌｅｇｅ， Ｄｏｎｇｇｕａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｄｏｎｇｇｕａｎ ５２３８０８， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎ’ ｓ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｉｅｓ ｆｏｒ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ， ｔｈｅ ｒｅｓｅａｒｃｈｅｒ ｐｒｏｐｏｓｅｓ ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｕｔｉｌｉｚｉｎｇ ａ ｆｉｖｅ ｓｔｅｐ ａｐｐｒｏａｃｈ， ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｃｏｍ⁃ ｐｌｅｘｉｔｙ ｏｆ ｓｍｏｏｔｈ ｆｕｎｃｔｉｏｎｓ． Ｔｈｅ ｆｉｒｓｔ ｓｔｅｐ， ｅｘａｍｉｎｅｓ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｙ ｉｎ ｔｈｅ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ｓｏｌｖｉｎｇ ｔｈｅ ｍａｘｉｍｕｍ ｖａｌｕｅ ｏｆ ａｎ ａｐｐｒｏｘｉｍａｔｉｏｎ ｆｕｎｃｔｉｏｎ； ｓｅｃｏｎｄ， ｔｈｅ ｆｕｎｃｔｉｏｎ ｗａｓ ｖｅｒｉｆｉｅｄ ｔｏ ｂｅ ａ ｓｙｍｍｅｔｒｉｃ ｆｕｎｃｔｉｏｎ； ｔｈｉｒｄ， ｔｈｅ ｍａｘｉｍｕｍ ｖａｌｕｅｓ ｏｆ ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ｆｕｎｃｔｉｏｎ ｗｅｒｅ ｄｅｒｉｖｅｄ ｒｅ⁃ ｓｐｅｃｔｉｖｅｌｙ ａｔ ｔｈｅ ｉｎｔｅｒｖａｌｓ ［０，ε］ ａｎｄ （ε， ＋ ¥） ； ｆｏｕｒｔｈ， ｔｈｅ ｔｗｏ ｍａｘｉｍｕｍ ｖａｌｕｅｓ ｗｅｒｅ ｃｏｍｐａｒｅｄ， ａｎｄ ｆｉｎａｌｌｙ ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｙ ｗａｓ ｏｂｔａｉｎｅｄ． Ｔｈｒｏｕｇｈ ｔｈｅ ｃａｌｃｕｌａｔｉｏｎ ｗｉｔｈ ｅｘａｍｐｌｅｓ， ｔｈｅ ｃｏｒｒｅｃｔｎｅｓｓ ａｎｄ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ ｍｅｔｈｏｄ ｗａｓ ｖａｌｉｄａｔｅｄ， ａｎｄ ｔｈｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｙ ｐｒｏｂｌｅｍ ｏｆ ｔｈｅ ｉｎｆｉｎｉｔｅ ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎｓ ｗａｓ ｓｙｓｔｅｍａｔｉｃａｌｌｙ ｓｏｌｖｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｗｈｉｃｈ ｏｆｆｅｒｓ ｂａｓｉｃ ｔｈｅｏｒｅｔｉｃａｌ ｓｕｐｐｏｒｔ ｆｏｒ ｓｍｏｏｔｈ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ； ｐｏｌｙｎｏｍｉａｌ ｓｍｏｏｔｈｉｎｇ ｆｕｎｃｔｉｏｎ； ａｐｐｒｏｘｉｍａｔｉｏｎ ａｃｃｕｒａｃｉｅｓ； ｓｙｍｍｅｔｒｉｃ ｆｕｎｃｔｉｏｎ 收稿日期：２０１２⁃１１⁃０２． 网络出版日期：２０１３⁃０５⁃１５． 基金项目：广东省自然科学基金资助项目（９１５１１７０００３００００１７）；东莞 市科技计划资助项目（２０１２１０８１０２０２７）． 通信作者：熊金志． Ｅ⁃ｍａｉｌ：ｄｇｘｉｏｎｇｊｉｎｚｈｉ＠ １２６．ｃｏｍ． 光滑函数在支持向量机中得到了成功应用，特 别是对分类问题获得了良好的效果［１⁃３］ ．对回归问 题，国内外学者进行了深入研究，如 Ｌｅｅ 等［４］找到一 类 ｐ ２ ε ⁃函数，并作为光滑函数对回归问题中的目标函 数进行光滑处理，提出 ε⁃不敏感的光滑支持向量回 归机模型．其实验结果表明，这种光滑支持向量回归 机在一定程度上改善了回归效果．为使支持向量回 归机的效果得到进一步改善，针对原支持向量回归 机中 ε⁃不敏感损失函数的平方项不光滑的问题， ２００８ 年笔者又提出了一类多项式光滑函数［５］ ．这类 多项式光滑函数的形式复杂，具有以下 ３ 个显著特 点：１）这种多项式光滑函数有无穷多个；２） 每个多 项式光滑函数都是某个多项式函数的复合函数；３） 每个多项式光滑函数都是三段函数［５⁃６］ ．按照光滑技 术的基本思路，用多项式光滑函数对原支持向量回