·306· 北京科技大学学报 2006年第3期 200 200 180 180 160 160 140 120 100 80 60 60 20 1700 1750 1800 1850 1900 1950 880 1900 19201940 1960 1980 年份 年份 图3(a)Sunspots数据集时间序列和(b)特征提取后的预测结果 Fig.3 The predicted result of sunspots (a)and feature extraction(b) Conference.Budapest,2001:191 4结论 [3]Suykens J A K,Vandewalle J.Least squares support vector 提出了在KPCA特征提取后，用最小二乘支 machine classifiers.Neural Process Lett,1999,9(3):293 [4]Muller K R A,Smola G,Ratsch B,et al.Predicting time se- 持向量机对时间序列进行预测.实验仿真结果表 ries with support vector machines /Proceedings of ICANN 明，特征提取后的预测效果优于没有预测的效果， '97.Berlin:Springer,1997:999 降低了样本的维数，提高了训练的泛化能力，而且 [5]Maguire L P,Roche B,Mcginnity T M,et al.Predicting a KPCA比PCA提取的效果更加明显，原因在于 chaotic time series using a fuzzy neural network.Inf Sci, KPCA能处理原始输入的高阶信息，而PCA只能 1998,112:125 [6]Scholkopf B,Smola A J,Miller K R.Nonlinear component 处理样本的二阶协方差矩阵，但是KPCA得到的 analysis as a kernel eigenvalue problem.Neural Comput, 主元数目却远大于PCA得到的，这样就要损失大 1998,10:1299 量的时间，将来的工作是要研究减少KPCA所需 [7]Mika S,Scholkopf B.Smola A J,et al.Kernel PCA and de- 的主成分数量，提高训练时间. noting in feature spaces//Advances in Neurai Information Pro cessing Systems I.Cambridge:MIT Press,1999:536 参考文献 [8]Suykens J A K,van Gestel T,de Brabanter J,et al.Least Squares Support Vector Machines.World Scientific,2002 [1]Vapnik V N.统计学习理论的本质.张学工，译，北京：清 [9]Suykens J A K,Vandewalle J.Least squares support vector 华大学出版社，2000 machine classifiers.Neural Process Lett,1999,9(3):293 [2]Suykens J A K.Nonlinear modeling and support vector ma- chines//IEEE Instrumentation and Measurement Technology Integrating kernel principal component analysis with least squares support vector machines for time series forecasting problems GUO Hui,WANG Ling,LIU Heping Information Engineering School,University of Science and Technology Beijing,Beijing 100083,China ABSTRACT This paper discusses least squares support vector machines(LSSVM)in the time series fore- casting problem.Kernel principal component analysis (KPCA)is proposed to calculate principal compo- nent.Least squares support vector machines are applied to predict time series.Experimental results show that the performance of LSSVM with feature extraction using KPCA is much better than that without fea- ture extraction.In comparison with PCA,there is also superior performance in KPCA. KEY WORDS principal component analysis (PCA);least squares support vector machines (LSSVM); kernel principal component analysis (KPCA);time series forecasting3 0 6 北 京 科 技 大 学 学 报 2 0 0 6 年第 3 期 2 0 0 2 0 0 180 160 14 0 120 1 00 80 6 0 4 0 2 0 0 一 耐汕{ {{例 找粼毗舀拭血 皿氧城嘟长ha 19 5 0 1 88 0 19 0 0 19 20 194 0 19 6 0 19 80 年份 图 3 ( a ) 年份 F ig . 3 T址 su sn op st 数据集时间序列和 ( b) 特征提取后的预测结果 p r e d i e et d 旧 lu t o f s u sn 即 st 【a ) a n d afe t u代 e x tar e t i o n 《 b ) 4 结论 提出 了在 K P〔: A 特征 提取 后 , 用最 小二乘支 持 向量机对 时间 序列 进行预测 . 实验仿真 结果 表 明 , 特征提取后 的预 测效果 优于 没有预 测的效果 , 降低 了样本的维数 , 提 高 了训 练 的泛 化能力 , 而 且 K P C A 比 P CA 提取 的效果 更 加 明显 , 原 因在 于 K P C A 能处理 原始输入 的高阶信息 , 而 P C A 只 能 处理样本的二 阶协方差 矩 阵 . 但是 K P C A 得 到 的 主元 数 目却远大 于 P C A 得到 的 , 这样就要损 失大 量 的时 间 , 将来的工 作是要 研 究减少 K P C A 所 需 的主成分 数量 , 提 高训练时 间 . 参 考 文 献 【1 1 V aP in k v N . 统计学习 理论 的本质 . 张学 工 , 译 . 北 京 : 清 华大学 出版社 , 2 0 0 〔2 」 S u y k e ns J A K . 吻记i n e ar om d e ls n g a n d S u p卯 r t v e e t o r am - e h i n es / IE E E I n s t r u m e n t a t i o n an d M e as ur e m e n t eT e h n o ogl y [ 5 〕 [ 6 3 [ 7 ] [8 〕 〔9 〕 Cb n f e r e n e e . B u e l a p e s t , 2 0 0 1 : 1 9 1 S u y k e n s J A K , V an d e w al l e J . L e as t s q u a r e s s u p op rt v e e t o r m ac h i n e e l as if i e rs . N e u ar l P ocre s L e t t , 1 9 99 , 9 ( 3 ) : 2 9 3 M ul e r K R A , S om l a G , R巨t s e h B , e t al . P r e d i e t i昭 t im e s e - r ies w i t h s u p卯rt v e e t or m a e h i n es / P ro c e e d i n g s o f I C A N N ’ 97 . B e r li n : S p r i飞 e r , 19 9 7 : 9 9 9 M昭 u i r e L P , oR e h e B , M e g i n n it y T M , e t a l . P r e di e t i n g a e ha o t i e t im e s e ir es u s i吧 a fu z z y n e u r a l n e t w o r k . I n f S e i , 19 9 8 , 1 12 : 1 2 5 S e h 6 1k o p f B , S n l o l a A J , M 让ller K R . N o r di n ea r e om p o n en t a n al 外 1 5 邵 a k e r n e l e i g e n v a l u e p ro b l e m . N e u r al C o m pu t , 19 9 8 , 10 : 1 2 9 9 M i k a S , S e比 Ik o p f B , S l l l o l a A J , e t al . K e rn e l P C A a n d d e - ont i飞 i n f aet ur e s p a e e s / A d v an e e s i n N e u r a l x n f o rm at i on P r o - e e s s i呢 S y st ems n . C a m b r id g e : M I T P r e s s , 19 9 9 : 53 6 S u y k e n s J A K , v an G e s t e l T , d e B r a b a nt e r J , e t al . L e a s t S q u ar e s S u POP rt V e e t o r M ac h i n e s . Wo r ld S e i e n t if i e , 2 0 0 2 S u y k e n s J A K , V 胡 d e w a ll e J . L e a s t s q u a r es s u p脚r t v e e t o r m a e ih n e e las s if i e rs . 陇 u ar l p r o c es s L e tt , 19 9 9 , 9 ( 3 ) : 2 9 3 飞JI es 几 J j4 r.l .LF I n t e g r a t i n g k e r n e l p r i n e ip a l e o m p o n e n t a n a l y s i s w i t h l e a s t s q u a r e s s u Pp o r t v e e t o r m a e h i n e s f o r t i m e s e r i e s f o r e e a s t i n g P r o b l e m s G 〔7O H “ 艺 , WA N G iL n g , L I U eH iP n g I n f 。 ~ t io n E ; 、 g i n e e r i n g S e h o l , U n i v e r s工t y o f S e ien e e an d T ce h on ol g y B e ij i飞 , B e ij i飞 10 0 0 8 3 , C h i n a A B S T R A C T T h i s p a p e r d i s e u s s e s l e a s t s q u a r e s s u p p o r t v e e t o r m a e h i n e s ( L S S V M ) i n t h e t i m e 。 e r i e s of r e - e a s t i n g p or b l e m . K e r n e l p r i n e i p a l c o m p o n e n t a n a l y s i s ( K P C A ) 1 5 p r o p o s e d t o c a l e u l a t e p r i n e i p a l c o m p o - n e n t . L e a s t s q u a re s s u p p o r t v e e t o r m a e h i n e s a r e a p p li e d t o p r e d i e t t im e s e r i e s . E x p e r im e n t a l r e s u l t s s h o w t h a t t h e p e r f o r m a n e e o f L S S V M w i t h f e a t u r e e x t r a e t i o n u s i n g K P C A 1 5 m u e h b e t t e r t h a n t h a t w i t h o u t f e a - t u r e e x t r a e t i o n . I n e o m P a r i s o n w i t h P C A , t h e r e 1 5 a l s o s u p e r i o r P e r fo r m a n e e i n K P (:A . K E v WO R D S p r i n e i p a l c o m p o n e n t a n a l y s i s ( P C A ) ; l e a s t S q u a r e s S u p p o r t v e e t o r m a e h i n e s ( L S S V M ) ; k e r n e l p r i n e i p a l e o m p o n e n t a n a l y s i s ( K P C A ) ; t i m e S e r i e S f o r e e a s t i n g