。792· 北京科技大学学报 2006年第8期 最小二乘支持向量机选取最优参数，用交叉验证 误差(MSE)小于KPLS,说明这种对偶优化表示 方法，得到优化的参数值，采用高斯核函数，通过 能得到比较好的结果 5折交叉检验，得到0=17.2，Y=15.采用高斯 表1数据集描述 函数作为KPLS的核函数这是由于在实验中这 Table I Data sets description 种核函数效果最好.用标准均方误差(NMSE)作 数据集合 尺寸 维数 训练集 测试集 为评价准则，定义如下： 波士顿房屋 506 13 471 35 计算机属性 8192 21 7500 692 MSE= 身体肥胖 253 14 200 53 其中x,分别为第n个时间序列实际值和预测 空间群 3108 7 2000 1108 值.用S-KPLS表示对偶优化的KPLS.从图1 嘧啶胺 75 27 70 5 和图2来看对偶优化的KPLS的MSE误差小于 鲍鱼 4177 9 3000 1177 KPLS的MSE,且变化趋于平缓，模型精度较好， 三嗪基 187 36 100 87 具有很好的泛化性能， 0.10 表2三种方法的均方误差的比较 Table 2 Comparison of normalized mean square error among the 0.05 帆 three methods 102 数据集合 LSSVM KPLS S-KPLS 波士顿房屋 9.1 11.0 87 -0.1900506065070070800850900950T000 计算机属性 29.2 384 29.8 时间 身体肥胖 311 5.96 205 图1KPLS的均方误差 空间群 125 260 129 Fig.I Mean square error of KPIS 嘧啶胺 224 457 215 鲍鱼 184 35.0 184 0.10 三嗪基 1.40 5.66 L28 0.05 误差平均值 10.85 1649 1091 0.05 4结论 -0.19005060607t07i08085090950100 时间 本文提出了一种基于对偶优化的KPLS方 法，推导出的公式具有最小二乘支持向量机的风 图2对偶优化的KPHS(S-KLS)的均方误差 格，并通过实验验证了这种方法.从实验中可以 Fig.2 Mean square error of dual optimization KPLS 看出，最小二乘支持向量机与对偶优化的KPLS 3.2标准数据集 方法的均方误差(M$E)很接近，而与单独采用 采用UCI机器学习数据库中的数据集进行 KPLS方法相比，能得到较好的效果. 实验，它提供了大量的、可被重复验证和对比的、 参考文献 目前公认的真实数据.实验数据集的描述和测试 方法如表1所示.在所有的数据集中均采用高斯 【刂Vapnik V N.统计学习理论的本质.张学工，译.北京：清 华大学出版社，2000 核函数最小二乘支持向量机选取最优参数，通过 [2 Burges C JC.A tutorial on support vector machines for pt- 5折交叉检验，得到核宽度参数σ=9.2Y=12. tern recognition.Data Min Knowl Discovery.1998.2(2): 用与上面相同的MSE作为评价准则，比较了最 121 小二乘支持向量机、KPLS、对偶优化的KPLS三 3 Johan S A K.Nonlinear modeling and support vector machines 种方法的MSE.表2为得到的结果，其中对偶优 /IEEE Instnumentation and Measurement Technology Com ference.Budapest,2001 化的KPLS方法用S-KPLS表示.从表2中可以 [4 Suykens A K.Vandew alle.Least squares support vector ma 看出，最小二乘支持向量机与对偶优化KPL$方 chine clssifiers.Neural Process Lett.1999.9(3):293 法的均方误差(MSE很接近，而S一KPLS的均方 [5 Trejo R.Kernel partial least squares regression in wpmducing最小二乘支持向量机选取最优参数, 用交叉验证 方法, 得到优化的参数值, 采用高斯核函数, 通过 5 折交叉检验, 得到 σ=17.2, γ=15 .采用高斯 函数作为 KPLS 的核函数, 这是由于在实验中这 种核函数效果最好 .用标准均方误差( NMSE) 作 为评价准则, 定义如下: MSE = 1 k ∑ k i =1 ( xi - x i) 2 . 其中 xi , xi 分别为第n 个时间序列实际值和预测 值.用 S -KPLS 表示对偶优化的 KPLS .从图 1 和图 2 来看对偶优化的 KPLS 的 MSE 误差小于 KPLS 的 MSE, 且变化趋于平缓, 模型精度较好, 具有很好的泛化性能 . 图 1 KPLS 的均方误差 Fig.1 Mean square error of KPLS 图 2 对偶优化的 KPLS( S-KPLS) 的均方误差 Fig.2 Mean square error of dual optimization KPLS 3.2 标准数据集 采用 UCI 机器学习数据库中的数据集进行 实验, 它提供了大量的、可被重复验证和对比的、 目前公认的真实数据 .实验数据集的描述和测试 方法如表 1 所示 .在所有的数据集中均采用高斯 核函数, 最小二乘支持向量机选取最优参数, 通过 5 折交叉检验, 得到核宽度参数 σ=9.2, γ=12 . 用与上面相同的 MSE 作为评价准则, 比较了最 小二乘支持向量机、KPLS 、对偶优化的 KPLS 三 种方法的 M SE.表 2 为得到的结果, 其中对偶优 化的 KPLS 方法用 S-KPLS 表示 .从表 2 中可以 看出, 最小二乘支持向量机与对偶优化 KPLS 方 法的均方误差( MSE) 很接近, 而 S-KPLS 的均方 误差( MSE) 小于 KPLS, 说明这种对偶优化表示 能得到比较好的结果 . 表 1 数据集描述 Table 1 Data sets description 数据集合 尺寸 维数 训练集 测试集 波士顿房屋 506 13 471 35 计算机属性 8 192 21 7 500 692 身体肥胖 253 14 200 53 空间群 3 108 7 2 000 1 108 嘧啶胺 75 27 70 5 鲍鱼 4 177 9 3 000 1 177 三嗪基 187 36 100 87 表 2 三种方法的均方误差的比较 Table 2 Comparison of normalized mean square error among the three methods 10 2 数据集合 LSSVM KPLS S-KPLS 波士顿房屋 9.1 11.0 8.7 计算机属性 29.2 38.4 29.8 身体肥胖 3.11 5.96 2.05 空间群 12.5 26.0 12.9 嘧啶胺 2.24 4.57 2.15 鲍鱼 18.4 35.0 18.4 三嗪基 1.40 5.66 1.28 误差平均值 10.85 16.49 10.91 4 结论 本文提出了一种基于对偶优化的 KPLS 方 法, 推导出的公式具有最小二乘支持向量机的风 格, 并通过实验验证了这种方法 .从实验中可以 看出, 最小二乘支持向量机与对偶优化的 KPLS 方法的均方误差( MSE ) 很接近, 而与单独采用 KPLS 方法相比, 能得到较好的效果. 参 考 文 献 [ 1] Vapnik V N .统计学习理论的本质.张学工, 译.北京:清 华大学出版社, 2000 [ 2] Burges C J C .A tutorial on support vector machines for pat￾t ern recognition.Data Min Knowl Discovery, 1998, 2 ( 2 ) : 121 [ 3] Johan S A K .Nonlinear modeling and support vector machines ∥IEEE Instrumentation and Measurement Technology Con￾f erence .Budapest, 2001 [ 4] Suykens A K, Vandew alle .Least squares support vector ma￾chine classifiers.Neural Process Lett, 1999, 9( 3) :293 [ 5] Trejo R.Kernel partial least squares regression in reproducing · 792 · 北 京 科 技 大 学 学 报 2006 年第 8 期