·268· 智能系统学报 第8卷 P3(x,k)= 1)F（x,k)是x的对称函数： x, x≥k 2)F(x,k)≤ra/2 其中ra为一个与p(x,k)的光滑阶数d相关的误 +x-+5列.-<< 1 1 差系数 证明 0, se-t 1)将-x代入式(7)，结合式(5)，可得 F(-x,k)=p(-x,k)-|-xl2= 4)当d=4时，1x2的光滑函数为 pie(x,k)-1x12=F(x,k), p2(x,k)=P(x-8,k)2+P4(-x-6,k)2 可见F(x,k)是对称函数.因此在整个x轴上求 式中： Pa(x,k)= F(x,k)的最大值问题可转换成在x轴的右半轴上 求F(x,k)的最大值问题 ≥ ， 2)把x轴的右半轴分成2个区间进行证明： 256+1)(5k3-2522+47hx-35). 1 ①当0≤x≤e时，显然1xl.=0.因此 F(x,k)=pie(x,k)-1x12= 1 1 p(x-e,k)2+P(-x-e,k)2 此时显然有x-e≤0和-x-E≤0，因Pa(x,k)2是单调 0,x≤-F 1 增函数[6，可得 F(x,k)≤2pa(0,k)2. (8) 5)当d=5时，1x2的光滑函数为 ②当x>E时，-x+ε<0，显然有-x-E<-x+E<0,因 p(x,k)=P5(x-E,k)2+P5(-x-E,k)2 此(-x-e),=0.因Pa(x,k)是单调增函数[6，可知 式中： P(-x-8,k)≤P(0,k).由二分法可算出Pu(x,k) P5(x,k)= 与正号函数x,的逼近精度：Pa(x,k)2-x子≤sa/k2,其 1 x,x≥ 中s4为一个与p(x,k)的光滑阶数d相关的系数 由文献[4]知，1x12=(x-8)+(-x-e),因此 512k+1)(kx-42x3+1022x2- 1 Fi(x,k)=pi(x,k)-1x12= 1 1 P(x-E,k)2-(x-E)3+P(-x-6,k)2, 122kx+63),-本<t< 即 Fae(x,k)sa/k2 +p(0,k)2. (9) 0,x≤- 综合①、②，取式(8)和(9)中右端的最大值，令 ra max2kpa(0,k)2,sa +kpa(0,k)2, 2多项式光滑函数的逼近精度及其求 可得 解步骤 F(x,k)≤Ta/k2,x∈R (10) 证毕. 2.1任意阶多项式光滑函数的逼近精度 2.2 求逼近精度的一般步骤 支持向量回归机的任意阶多项式光滑函数 这无穷多个多项式光滑函数有一个共同特征： P(x,k),其具体形式皆可由式(4)推出，这种光滑 都是正号函数x,的光滑逼近P(x,k)形如式(5)的 函数显然有无穷多个.这无穷多个光滑函数逼近ε 复合函数，而p(x,k)皆可由文献[6]的递推公式求 不敏感损失函数的平方项1x2的精度问题，显然皆 出.上文求出了任意阶光滑函数的逼近精度的表达 可描述为求p(x,k)-|x12的最大值问题记 式(10)，下面对这些求解过程进行归纳和总结，可 F(x,k)=p2(x,k)-x12, (7) 发现求解的一般规律.根据这个规律，提出五步求的 称F(x,k)为光滑函数p(x,k)的误差函数，这种 基本思路，即求逼近精度的一般步骤。 误差函数显然也有无穷多个，且与光滑函数 1)把求光滑函数P(x,k)的逼近精度问题表示 P(x,k)一一对应. 为一个在整个x轴上求误差函数F(x,k)的最大值 定理1误差函数F(x,k)由式(7)给出，则 问题：ｐ３（ｘ，ｋ） ＝ ｘ， ｘ ≥ １ ｋ ； １ ３２ｋ （ｋｘ ＋ １） ４ （ｋ ２ ｘ ２ － ４ｋｘ ＋ ５）， － １ ｋ ＜ ｘ ＜ １ ｋ ； ０， ｘ ≤－ １ ｋ ． ì î í ï ï ï ï ï ï ïï ４）当 ｄ ＝ ４ 时， ｜ ｘ ｜ ２ ε 的光滑函数为 ｐ ２ ４ε（ｘ，ｋ） ＝ ｐ４（ｘ － ε，ｋ） ２ ＋ ｐ４（ － ｘ － ε，ｋ） ２ ． 式中： ｐ４（ｘ，ｋ） ＝ ｘ， ｘ ≥ １ ｋ ； － １ ２５６ｋ （ｋｘ ＋ １） ５ （５ｋ ３ ｘ ３ － ２５ｋ ２ ｘ ２ ＋ ４７ｋｘ － ３５）， － １ ｋ ＜ ｘ ＜ １ ｋ ； ０， ｘ ≤－ １ ｋ ． ì î í ï ï ï ï ï ï ï ï ï ï ５）当 ｄ ＝ ５ 时， ｜ ｘ ｜ ２ ε 的光滑函数为 ｐ ２ ５ε（ｘ，ｋ） ＝ ｐ５（ｘ － ε，ｋ） ２ ＋ ｐ５（ － ｘ － ε，ｋ） ２ ． 式中： ｐ５（ｘ，ｋ） ＝ ｘ， ｘ ≥ １ ｋ ； １ ５１２ｋ （ｋｘ ＋ １） ６ （ｋ ４ ｘ ４ － ４２ｋ ３ ｘ ３ ＋ １０２ｋ ２ ｘ ２ － １２２ｋｘ ＋ ６３）， － １ ｋ ＜ ｘ ＜ １ ｋ ； ０， ｘ ≤－ １ ｋ ． ì î í ï ï ï ï ï ï ï ï ï ï ２ 多项式光滑函数的逼近精度及其求 解步骤 ２．１ 任意阶多项式光滑函数的逼近精度 支持向量回归机的任意阶多项式光滑函数 ｐ ２ ｄε（ｘ，ｋ），其具体形式皆可由式（４）推出，这种光滑 函数显然有无穷多个．这无穷多个光滑函数逼近 ε⁃ 不敏感损失函数的平方项 ｜ ｘ ｜ ２ ε 的精度问题，显然皆 可描述为求 ｐ ２ ｄε（ｘ，ｋ）－ ｜ ｘ ｜ ２ ε 的最大值问题．记 Ｆｄε（ｘ，ｋ） ＝ ｐ ２ ｄε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ， （７） 称 Ｆｄε（ｘ，ｋ）为光滑函数 ｐ ２ ｄε（ｘ，ｋ）的误差函数，这种 误差 函 数 显 然 也 有 无 穷 多 个， 且 与 光 滑 函 数 ｐ ２ ｄε（ｘ，ｋ）一一对应． 定理 １ 误差函数 Ｆｄε（ｘ，ｋ）由式（７）给出，则 １）Ｆｄε（ｘ，ｋ）是 ｘ 的对称函数； ２）Ｆｄε（ｘ，ｋ）≤ｒｄ ／ ｋ ２ ． 其中 ｒｄ 为一个与 ｐ ２ ｄε（ ｘ，ｋ）的光滑阶数 ｄ 相关的误 差系数． 证明 １）将－ｘ 代入式（７），结合式（５），可得 Ｆｄε（ － ｘ，ｋ） ＝ ｐ ２ ｄε（ － ｘ，ｋ） －｜ － ｘ ｜ ２ ε ＝ ｐ ２ ｄε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ＝ Ｆｄε（ｘ，ｋ）， 可见 Ｆｄε（ ｘ，ｋ） 是对称函数． 因此在整个 ｘ 轴上求 Ｆｄε（ｘ，ｋ）的最大值问题可转换成在 ｘ 轴的右半轴上 求 Ｆｄε（ｘ，ｋ）的最大值问题． ２）把 ｘ 轴的右半轴分成 ２ 个区间进行证明： ①当 ０≤ｘ≤ε 时，显然｜ ｘ ｜ ε ＝ ０．因此 Ｆｄε（ｘ，ｋ） ＝ ｐ ２ ｄ ε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ＝ ｐｄ（ｘ － ε，ｋ） ２ ＋ ｐｄ（ － ｘ － ε，ｋ） ２ ． 此时显然有 ｘ－ε≤０ 和－ｘ－ε≤０，因 ｐｄ（ｘ，ｋ） ２ 是单调 增函数［６］ ，可得 Ｆｄε（ｘ，ｋ） ≤ ２ｐｄ（０，ｋ） ２ ． （８） ②当 ｘ＞ε 时，－ｘ＋ε＜０，显然有－ｘ－ε＜－ｘ＋ε＜０，因 此（－ｘ－ε） ＋ ＝ ０．因 ｐｄ （ ｘ，ｋ） 是单调增函数［６］ ，可知 ｐｄ（－ｘ－ε，ｋ）≤ｐｄ（０，ｋ）．由二分法可算出 ｐｄ （ ｘ，ｋ） ２ 与正号函数 ｘ＋的逼近精度：ｐｄ（ ｘ，ｋ） ２ －ｘ ２ ＋≤ｓｄ ／ ｋ ２ ，其 中 ｓｄ 为一个与 ｐ ２ ｄε（ｘ，ｋ）的光滑阶数 ｄ 相关的系数． 由文献［４］知， ｜ ｘ ｜ ２ ε ＝ （ｘ－ε） ２ ＋ ＋（－ｘ－ε） ２ ＋ ，因此 Ｆｄε（ｘ，ｋ） ＝ ｐ ２ ｄε（ｘ，ｋ） －｜ ｘ ｜ ２ ε ＝ ｐｄ（ｘ － ε，ｋ） ２ － （ｘ － ε） ２ ＋ ＋ ｐｄ（ － ｘ － ε，ｋ） ２ ， 即 Ｆｄε（ｘ，ｋ） ≤ ｓｄ ／ ｋ ２ ＋ ｐｄ（０，ｋ） ２ ． （９） 综合①、②，取式（８）和（９）中右端的最大值，令 ｒｄ ＝ ｍａｘ｛２ｋ ２ ｐｄ（０，ｋ） ２ ，ｓｄ ＋ ｋ ２ ｐｄ（０，ｋ） ２ ｝， 可得 Ｆｄε（ｘ，ｋ） ≤ ｒｄ ／ ｋ ２ ，ｘ ∈ Ｒ． （１０） 证毕． ２．２ 求逼近精度的一般步骤 这无穷多个多项式光滑函数有一个共同特征： 都是正号函数 ｘ＋的光滑逼近 ｐｄ（ ｘ，ｋ）形如式（５）的 复合函数，而 ｐｄ（ｘ，ｋ）皆可由文献［６］的递推公式求 出．上文求出了任意阶光滑函数的逼近精度的表达 式（１０），下面对这些求解过程进行归纳和总结，可 发现求解的一般规律．根据这个规律，提出五步求的 基本思路，即求逼近精度的一般步骤． １）把求光滑函数 ｐ ２ ｄε（ｘ，ｋ）的逼近精度问题表示 为一个在整个 ｘ 轴上求误差函数 Ｆｄε（ｘ，ｋ）的最大值 问题： ·２６８· 智 能 系 统 学 报 第 ８ 卷