第3期 冯能山，等：支持向量回归机多项式光滑函数的逼近精度 ·267· 归机模型进行光滑处理，可以得到支持向量机的光 键作用，因此光滑函数与！·2的逼近精度是光滑 滑模型，从而提高回归速度，而这个过程必须用到多 支持向量回归机的一个重要理论问题)，也是本文 项式光滑函数的逼近精度[4.因此，多项式光滑函数 要研究的问题.为便于研究，下面列出支持向量回归 的逼近精度是光滑支持向量回归机必须解决的一个 机的多项式光滑函数 重要问题.该问题是否存在一个统一的求解方法，多 1.3光滑函数 年来一直是一个尚待解决的问题，刀对此，本文提 文献[5]已对ε-不敏感损失函数1xl,及其平方 出五步求的基本思路，并用二分法试图系统解决这 函数1x2的多项式光滑函数进行了定义和说明，在 个问题 此不再赘述.为便于分析，先给出支持向量回归机的 1支持向量回归机及其光滑函数 多项式光滑函数 引理1)设p(x,k)是正号函数x,的d阶多 1.1回归问题 项式光滑函数，令函数P(x,k)满足： 对数据集S={(x1,y1),(x22),…,(xmyn)} pi(x,k)=pa (x-s,k)2+pa(-x-s,k)2, R"×R,令矩阵A=[x1x2…xm],x:是一个n维向量， (3) 每个x:对应有一个观测值y.显然A∈Rm,S= 则p(x,k)是Ixl2的d阶多项式光滑函数 {(A:y:)lA:∈R,y:eR},i=1,2,…,m,其中A:是 可见，Ix12的光滑函数p(x,k)是正号函数x, 矩阵A的第i个向量.回归的目的是利用给定的数 的光滑逼近p(x,k)的复合函数，而Pu(x,k)由文献 据集S,训练出一个回归函数f(x),使f(x)能对新的 [6]知有无穷多个，皆可由一个递推公式求出. 输入x较准确地预测出输出y,这就是回归问题.采 因此，由引理1可求得一类的1x12具有d阶光 用的标准是ε-不敏感损失函数：1y-f代x)I.= 滑的多项式光滑函数： max{0,ly-f(x)1-e}.对于线性回归的情形，f(x)= {p(x,k),d=1,2,…{ (4) w'x+b,其中w∈R”是一个待定向量，b是一个待定 显然，这种光滑函数有无穷多个，下面以d=1, 常量[89 2,3,4,5为例分别求出1x12的前5个光滑函数. 1.2支持向量回归机 1)当d=1时，1x12的光滑函数为 上述回归问题可表示为无约束最优化问题： Pi(x,k)=P1(x-6,k)2+P1(-x-E,k)2.(5) 1 0R2(w'w+6)+ min ∑1A,w+b-:12 式中： 21 Pi(x,k)= (1) 1 式中：C为一个大于0的惩罚参数.式(1)称为无约 X≥ 束的支持向量回归机模型.由于式(1)中！·2不光 k 1,11 滑，导致此模型的目标函数不光滑.因此该支持向量 】x2+。x+Ak,k下、 回归机不能用快速的Newton-Armijo算法进行求解， 1 使得模型的精度和效率受到影响.为此，用一类d阶 0,x≤-K 光滑的多项式函数p(x,k)作为光滑函数，逼近上 2)当d=2时，IxI2的光滑函数为 述支持向量回归机模型的！·2，得到 P2(x,k)=P2(x-6,k)2+P2(-x-E,k)2.(6) 「.，2(ww+6)+ 1 )min 式中： P2(x,k)= C(A +b-y:k) 2台 (2) 1 x,x≥ 因此该支持向量回归机是光滑的，可用快速的 1 1 Newton-Armijo算法进行求解，从而提高模型的精度 16x+1)(-3),-石<x<: 和效率称式(2)为d阶多项式光滑的支持向量回归 机，多项式函数p(x,k)称为支持向量回归机的多 项式光滑函数). 3)当d=3时，lxl2的光滑函数为 容易看出，在把原支持向量回归机模型变换为 P(x,k)=P3(x-6,k)2+P3(-x-E,k)2 光滑的支持向量回归机的过程中，光滑函数起了关 式中：归机模型进行光滑处理，可以得到支持向量机的光 滑模型，从而提高回归速度，而这个过程必须用到多 项式光滑函数的逼近精度［４］ ．因此，多项式光滑函数 的逼近精度是光滑支持向量回归机必须解决的一个 重要问题．该问题是否存在一个统一的求解方法，多 年来一直是一个尚待解决的问题［５，７］ ．对此，本文提 出五步求的基本思路，并用二分法试图系统解决这 个问题． １ 支持向量回归机及其光滑函数 １．１ 回归问题 对数据集 Ｓ ＝ ｛（ｘ１，ｙ１），（ｘ２，ｙ２），…，（ｘｍ，ｙｍ）｝⊆ Ｒ ｎ×Ｒ，令矩阵 Ａ＝ ［ｘ１ ｘ２… ｘｍ ］，ｘｉ 是一个 ｎ 维向量， 每个 ｘｉ 对应有一个观测值 ｙｉ ． 显然 Ａ∈Ｒ ｎ×ｍ ， Ｓ ＝ ｛（Ａｉ，ｙｉ） ｜Ａｉ∈Ｒ ｎ ，ｙｉ∈Ｒ｝，ｉ ＝ １，２，…，ｍ，其中 Ａｉ 是 矩阵 Ａ 的第 ｉ 个向量．回归的目的是利用给定的数 据集 Ｓ，训练出一个回归函数 ｆ（ｘ），使ｆ（ｘ）能对新的 输入 ｘ 较准确地预测出输出 ｙ，这就是回归问题．采 用 的 标 准 是 ε⁃不 敏 感 损 失 函 数： ｜ ｙ－ｆ（ｘ） ｜ ε ＝ ｍａｘ｛０， ｜ ｙ－ｆ（ｘ） ｜ －ε｝．对于线性回归的情形，ｆ（ ｘ） ＝ ｗ Ｔ ｘ＋ｂ，其中 ｗ∈Ｒ ｎ 是一个待定向量，ｂ 是一个待定 常量［８⁃９］ ． １．２ 支持向量回归机 上述回归问题可表示为无约束最优化问题［５］ ： ｍｉｎ （ｗ，ｂ）∈Ｒｎ＋１ １ ２ （ｗ Ｔｗ ＋ ｂ ２ ） ＋ Ｃ ２ ∑ ｍ ｉ ＝ １ ｜ Ａｉｗ ＋ ｂ － ｙｉ ｜ ２ ε ． （１） 式中：Ｃ 为一个大于 ０ 的惩罚参数．式（１）称为无约 束的支持向量回归机模型．由于式（１）中 ｜ · ｜ ２ ε 不光 滑，导致此模型的目标函数不光滑．因此该支持向量 回归机不能用快速的 Ｎｅｗｔｏｎ⁃Ａｒｍｉｊｏ 算法进行求解， 使得模型的精度和效率受到影响．为此，用一类 ｄ 阶 光滑的多项式函数 ｐ ２ ｄε（ ｘ，ｋ）作为光滑函数，逼近上 述支持向量回归机模型的｜·｜ ２ ε ，得到 ｍｉｎ （ｗ，ｂ）∈Ｒｎ＋１ φｄε，ｋ（ｗ，ｂ） ∶ ＝ ｍｉｎ （ｗ，ｂ）∈Ｒｎ＋１ １ ２ （ｗ Ｔｗ ＋ ｂ ２ ） ＋ Ｃ ２ ∑ ｍ ｉ ＝ １ ｐ ２ ｄε（Ａｉｗ ＋ ｂ － ｙｉ，ｋ） （２） 因此该支持向量回归机是光滑的，可用快速的 Ｎｅｗｔｏｎ⁃Ａｒｍｉｊｏ 算法进行求解，从而提高模型的精度 和效率．称式（２）为 ｄ 阶多项式光滑的支持向量回归 机，多项式函数 ｐ ２ ｄε（ ｘ，ｋ）称为支持向量回归机的多 项式光滑函数［５］ ． 容易看出，在把原支持向量回归机模型变换为 光滑的支持向量回归机的过程中，光滑函数起了关 键作用，因此光滑函数与 ｜ · ｜ ２ ε 的逼近精度是光滑 支持向量回归机的一个重要理论问题［５］ ，也是本文 要研究的问题．为便于研究，下面列出支持向量回归 机的多项式光滑函数． １．３ 光滑函数 文献［５］已对 ε⁃不敏感损失函数｜ ｘ ｜ ε 及其平方 函数｜ ｘ ｜ ２ ε 的多项式光滑函数进行了定义和说明，在 此不再赘述．为便于分析，先给出支持向量回归机的 多项式光滑函数． 引理 １ ［５］ 设 ｐｄ（ｘ，ｋ）是正号函数 ｘ＋的 ｄ 阶多 项式光滑函数，令函数 ｐ ２ ｄε（ｘ，ｋ）满足： ｐ ２ ｄε（ｘ，ｋ） ＝ ｐｄ （ｘ － ε，ｋ） ２ ＋ ｐｄ （ － ｘ － ε，ｋ） ２ ， （３） 则 ｐ ２ ｄε（ｘ，ｋ）是｜ ｘ ｜ ２ ε 的 ｄ 阶多项式光滑函数． 可见， ｜ ｘ ｜ ２ ε 的光滑函数 ｐ ２ ｄε（ｘ，ｋ）是正号函数 ｘ＋ 的光滑逼近 ｐｄ（ｘ，ｋ）的复合函数，而 ｐｄ（ｘ，ｋ）由文献 ［６］知有无穷多个，皆可由一个递推公式求出． 因此，由引理 １ 可求得一类的 ｜ ｘ ｜ ２ ε 具有 ｄ 阶光 滑的多项式光滑函数： ｛ｐ ２ ｄε（ｘ，ｋ），ｄ ＝ １，２，…｝． （４） 显然，这种光滑函数有无穷多个，下面以 ｄ ＝ １， ２，３，４，５ 为例分别求出｜ ｘ ｜ ２ ε 的前 ５ 个光滑函数． １）当 ｄ ＝ １ 时， ｜ ｘ ｜ ２ ε 的光滑函数为 ｐ ２ １ε（ｘ，ｋ） ＝ ｐ１（ｘ － ε，ｋ） ２ ＋ ｐ１（ － ｘ － ε，ｋ） ２ ． （５） 式中： ｐ１（ｘ，ｋ） ＝ ｘ， ｘ ≥ １ ｋ ； ｋ ４ ｘ ２ ＋ １ ２ ｘ ＋ １ ４ｋ ， － １ ｋ ＜ ｘ ＜ １ ｋ ； ０， ｘ ≤－ １ ｋ ． ì î í ï ï ï ï ï ï ïï ２）当 ｄ ＝ ２ 时， ｜ ｘ ｜ ２ ε 的光滑函数为 ｐ ２ ２ε（ｘ，ｋ） ＝ ｐ２（ｘ － ε，ｋ） ２ ＋ ｐ２（ － ｘ － ε，ｋ） ２ ． （６） 式中： ｐ２（ｘ，ｋ） ＝ ｘ， ｘ ≥ １ ｋ ； － １ １６ｋ （ｋｘ ＋ １） ３ （ｋｘ － ３）， － １ ｋ ＜ ｘ ＜ １ ｋ ； ０， ｘ ≤－ １ ｋ ． ì î í ï ï ï ï ï ï ïï ３）当 ｄ ＝ ３ 时， ｜ ｘ ｜ ２ ε 的光滑函数为 ｐ ２ ３ε（ｘ，ｋ） ＝ ｐ３（ｘ － ε，ｋ） ２ ＋ ｐ３（ － ｘ － ε，ｋ） ２ ． 式中： 第 ３ 期 冯能山，等：支持向量回归机多项式光滑函数的逼近精度 ·２６７·