Vol.28 No.3 郭辉等：基于核主成分分析与最小二乘支持向量机结合处理时间序列预测问题 305· x(501)-x(700)抽取200个数据构成训练数据 1000点的混沌时间序列模型，图2(b)表明特征提 集，从x(701)-x(1000)取300个数据构成测试 取后的时间序列模型，有200个训练数据点构成， 数据集，其中m=9,x=1.为了使最小二乘支持 *表示实际输出值.用标准均方误差(NMSE)作 向量机选取最优参数，在用VC#.net开发的最 为评价准则，定义如下： 小二乘支持向量机平台上实现了交叉验证方法， 得到优化的参数值，采用高斯核函数，即(xk, NMsE=2o%-识 x)=exp -‖-12 2g2 ,c=16.2,y=10.核 PCA的核函数也采用高斯函数.图2(a)显示了 其中，y表示预测值，y表示实际值的均值 12 1.0 0.8 04 0.201002003004005006007008009001000 0.201002003004005006007008009001000 时间 时间 图2(a)Mackey-Glass时间序列和(b)特征提取后的时间序列结果 Fig.2 (a)Mackey-Glass time series forecasting and (b)the result after feature extraction 在表1显示了初始的LSSVM,用PCA提取 优化的参数值，采用高斯核函数，即k(x,x)= 特征后与LSSVM和用KPCA提取特征后与 LSSVM的平均NMSE.可以看出，特征提取后的 exp ‖-12 22,g=9.8,y=17.7,KPCA 方法优于没有提取的方法，而且KPCA提取后的 ·的核函数以及值也都通过交叉检验得到.图3(a) 预测结果最好，但是与PCA特征提取相比，KP. 表明了时间序列预测实际模型结果，图3(b)是在 CA需要更多的主元 1920年开始进行预测，一直到1980年，图中虚线 表1平均NMSE的比较以及主要成分的数目 表示预测结果.仍用上面实验中的标准均方误差 Table 1 Comparison of normalized mean square error and score (NMSE)作为评价准则，表2可以看出得到与上 vector number 个实验相同的结论，使用KPCA和PCA特征提取 方法 NMSE 主成分数目 后的时间序列预测效果优于没有提取的预测， LSSVM 0.0998 17 KPCA提取后得到最小的标准均方误差，但是与 PCA+LSSVM 0.0728 8 PCA提取后的预测相比，KPCA需要大量的主成 KPCA+LSSVM 0.0625 145 分，这就需要大量的时间进行计算 表2平均NMSE的比较以及主要成分的数目 3.2 Sunspots数据集时间序列预测 Table 2 Comparison of normalized mean square error and score 这里用sunspots数据集测试.sunspot数据集 vector number 长期以来一直是标准的测试数据集，可以从网络 方法 NMSE 主成分数目 中获得这个数据集.数据集记录从1700一1979 LSSVM 0.273 15 共280年的太阳黑点数据.在实验中用1700-一 PCA LSSVM 0.254 9 1920的数据作为训练数据，剩下的1921一1979 KPCA+LSSVM 0.197 138 数据用来作为测试数据.通过五重交叉检验得到V o l 。 2 8 N o . 3 郭辉等 : 基于核主成分分析 与最小二乘支持向量机结合处理时间序列预 测问题 x ( 5 0 1 ) 一 x ( 7 0 0 )抽 取 2 0 0 个 数据构 成划I}练 数据 集 , 从 x ( 7 0 1 ) 一 x ( 1 0 0 0 )取 3 0 0 个 数据构成 测试 数据 集 , 其 中 m = 9 , r 二 1 . 为 了使最 小二乘支持 向量 机选取 最 优参数 , 在 用 V C # . ne t 开发 的最 小二乘 支持 向量 机平 台上 实现 了交叉 验证方法 , 得到优化 的参 数值 , 采用 高斯 核 函 数 , 即 k ( x 、 , 1 0 0 0点的混沌时 间序列模 型 , 图 2 ( b) 表 明特征 提 取 后的 时间序 列模型 , 有 2 0 个训练数 据点构成 , * 表示 实际输出值 . 用标 准均 方误差 ( N M SE )作 为评价准则 , 定 义如 下 : x , ) 一 。 x p ( !! x * 一 x ` }1 2 , 2 , a 二 16 . 2 , y = 10 . 核 N M S E 一 六客 (一 、 ) 2 护 一 六 乡 \ 一 孙 P C A 的核 函数也 采 用 高斯 函数 . 图 2 ( a) 显 示 了 其中 , 夕表示 预测值 , y 表示实 际值的均 值 . 1 . 6 1 . 4 料W大 1 . 2 1 . 0 气 . 入 恻习潺 . 划田潺 0 . 6 0 4 0 2 在五茄万赫百赫炭万荪兀标于赫面赤谕扁 00 时间 图 2 ( a ) M a c k e y 一 G l a s s 时’lq 序列和 ( b )特征提取后 的时’lq 序列结果 F i g . 2 《 a ) M a e k e y · lG a ss t i me s e r i es fo r e . : as t i n g an d ( b ) t h e r e s日 t a n e r 介 a tur e e x t r a c t i o n 在表 1 显示 了初 始 的 L S SV M , 用 P C A 提取 特征 后 与 L S S V M 和 用 K P C A 提 取 特 征 后 与 L S v M 的平 均 N M S E . 可 以看 出 , 特征提 取后 的 方法优 于没有 提 取 的方法 , 而 且 K P CA 提 取 后 的 预测 结果 最好 , 但 是 与 P C A 特 征提 取 相 比 , K P - C A 需要更多的 主元 . 优 化的参数值 , 采 用高斯 核 函 数 , 即 k ( x 、 , x ` ) = e x p } 」丛 二主姿 时) 八 _ 2 ) , 石 U a = 9 . 8 , 了 = 17 . 7 , K P C A 表 1 平均 N M sE 的比较以 及主要成分的数 目 T a b l e 1 C o n , P a r i s o n o f n o r m a l i z e d m e a n sq u ar e er r o r an d s e o r v e d o r n u 刃n b e r 方法 N M S E 主 成分数 目 L S S V M 0 . 0 9 9 8 P CA + L S SV M 0 . 0 7 2 8 K P C A + L S SV M 0 . 0 6 2 5 3 . 2 s u n sP ot s 数据 集时 间序列预测 这里用 s u n s p o t s 数据集测 试 . S u n s p o t 数据集 长期 以来一直 是标准 的测试 数据 集 , 可 以从 网络 中获得 这个 数据 集 . 数 据 集记录 从 1 7 0 0一 1 9 7 9 共 2 80 年 的太 阳 黑 点 数据 . 在 实 验中用 17 0 0一 1 9 2 0 的数据 作为 训 练 数 据 , 剩 下 的 1 9 2 1一 1 9 7 9 数据用来作为测试 数据 . 通过 五重 交叉 检验得到 的核函 数 以及值也都通过 交叉 检验得 到 . 图 3 ( a) 表 明了 时间序列 预测实际模型结 果 , 图 3 ( b) 是 在 1 9 2 0 年开始 进行预 测 , 一 直到 19 8 0 年 , 图中虚 线 表示 预测 结果 . 仍用 上面 实验 中的标 准均 方误 差 ( N M S )E 作为 评价准 则 , 表 2 可 以看 出得 到 与上 个 实验相同的结论 , 使用 K p C A 和 p (: A 特征提 取 后 的 时 间 序 列 预 测 效 果 优 于 没 有 提 取 的预 测 , K P C A 提取 后得 到 最 小 的标准 均方 误 差 , 但 是与 P C A 提取后 的预 测相 比 , K P C A 需要 大量 的主 成 分 , 这就需 要大量的时 间进行计 算 . 表 2 平均 N M S E 的比较以 及主要成分的数 目 aT b l e 2 C om Pa r i s on o f no r m a liez d me a n s q au 比 e r or r 阻d s e o r e v e d o r n u n l b e r 方法 N M S E 主成分数 目 L S SV M 0 . 2 7 3 1 5 P 〔! A + L S S V M 0 . 2 5 4 K P C A + L S S V M 0 . 1 9 7