D0I:10.13374/j.issn1001053x.2006.03.022 第28卷第3期 北京科技大学学报 Vol.28 No.3 2006年3月 Journal of University of Science and Technology Beijing Mar.2006 基于核主成分分析与最小二乘支持向量机结合 处理时间序列预测问题 郭辉王玲刘贺平 北京科技大学信息工程学院，北京100083 摘要探讨了最小二乘支持向量机时间序列预测的方法，提出了用核主成分分析提取主元，然 后用最小二乘支持向量机进行预测.通过实验表明，这种方法得到的效果优于没有特征提取的预 测，同时与主成分分析提取特征相比，用核主成分分析效果更好 关键词主成分分析；最小二乘支持向量机；核主成分分析；时间序列顸测 分类号TP301.5 Vapnik在1995年提出一种新型统计学习方 特征向量，而是将其转化为求核矩阵的特征向量 法一支持向向量机(Support Vector Ma- 和特征值，这避免了在特征空间求特征向量，而数 chines)),常称为标准支持向量机，具有完备的统 据在特征向量上的投影转换为求核函数的线性组 计学习理论基础和出色的学习性能，已成为机器 合，这大大地简化了计算 学习界的研究热点，并在很多领域都得到了成功 首先将样本x:k=1,…,n,x∈R,映射到 的应用.在此基础上，Suykens提出最小二乘支持 特征空间(x):k=1,…,n,x∈RN,计算协方 向量机方法(least squares support vector ma- 差矩阵9-10： chines)2).与标准支持向量机相比，这种方法采 用最小二乘线性系统作为损失函数，求解过程变 c= )(x)(x)T (1) 成了解一组等式方程，求解速度相对加快，并应用 然后通过解特征值问题计算主成分，可以找到λ 到模式识别和非线性函数估计，取得了较好的效 >0和V≠0满足： 果. Aw=CV=1(Φ(x)v)(x)(2) 时间序列预测在工程、经济、工业制造、金融 n台 等许多领域有着广泛而重要的应用价值，国内外 进一步，从式(2)可以看出，所有特征值非零的特 许多学者采用了各种方法进行了时间序列预测的 征矢量必然映射数据的张集上，这可以表示 研究[45].在时间序列预测问题中，特征提取非常 为[6： 重要，它可以降低学习问题的复杂性，提高学习算 ,() V=> (3) 法的泛化性能，简化学习模型.本文提出了利用 核主成分分析(KPCA)对数据进行特征提取，消 由式(2)左乘(x)变为： 除数据的相关性和噪声，提取包含样本数据信息 入（Φ(x)V)=(西(x)·CV),k=1,2,…,n 的主元，降低样本空间的维数，这些新特征作为最 (4) 小二乘支持向量机的输入，用来解决时间序列问 定义一个n×n矩阵K, 题. K=K(x,x)=(Φ(x:)·Φ()(5) 1 核主成分分析 现在计算展开系数α；的特征值问题仅仅取决于 核函数，即： 基于核函数的PCA,这种方法不是直接计算 nλa=Ka (6) 收稿日期：2005-01-24修回日期：2005-11-17 其中，a表示a1,…,am组成的一个列向量 基金项目：国家“863”项目(No.2002AA412010-10:)及北京市 得到的解(a:,a)需要利用入：（a·a)=1进 教委重点学科共建项目 行归一化处理.接下来要提取一个测试样本x的 作者简介：郭辉(1972一)，男，博士研究生：刘贺平(1951一).男， 教授 特征，只需将映射样本Φ(x)投影到V上1o1:第 2 8 卷 第 3期 2 0 0 6 年 3 月 北 京 科 技 大 学 学 报 J o u nr a l of U n ive sr i ty o f S e 朋i ec a n d T e c h n o l o gy Be 幼in g V ol . 2 8 N o , 3 M a r 。 2 0 0 6 基于核 主成分分析与最小二乘支持 向量机结合 处理时间序列预测问题 郭 辉 王 玲 刘 贺平 北京科技大学信息工程学院 , 北京 10 0 0 8 3 摘 要 探讨了最 小二乘支持向量机时 间序 列 预测 的方法 , 提 出了用核 主成分分析提取 主元 , 然 后用最小二乘支持 向量机进行预测 , 通过实验表明 , 这种方法 得到的效果优于没有 特征提取的预 测 . 同时与主成分分析提取特征相 比 , 用核主成分分析效果更好 . 关键词 主成分分析 ; 最小二乘支持 向量机 ; 核主成分分析 ; 时间序列 预测 分类号 T P 3 0 1 . 5 v ap in k 在 19 9 5 年提 出一种 新型 统计学 习方 法一- 支 持 向 向 量 机 ( S u p p o r t V e c t o r M a - hc in e s )[ `〕 , 常称为标准支持 向量机 , 具 有完备的统 计学 习理 论基 础和 出色 的学 习性 能 , 已 成 为机器 学 习界 的研究 热 点 , 并在 很 多领 域 都得 到 了 成功 的应用 . 在 此基础 上 , s uy k en s 提 出最小 二乘 支持 向量 机 方 法 ( l e a s t s q u a r e s s u p p o r t v e c t o r m a - ch in e s )[ 2 一” 〕 . 与标准支持 向量机 相 比 , 这种方 法采 用最 小二 乘线性 系统 作为损 失函 数 , 求 解过程变 成 了解 一组等式方程 , 求解速度相对 加快 , 并 应用 到模式识别和 非线 性函数 估计 , 取得 了较 好的效 果 . 时间序列预 测在 工 程 、 经 济 、 工业 制造 、 金 融 等许多领域有 着广 泛 而重 要 的 应用 价值 , 国 内外 许多学 者采用 了各种方法进行 了 时间序列预 测 的 研 究t 4 一 5 1 . 在 时间序列 预测 问题 中 , 特征提取 非常 重要 , 它可 以降低学 习问题的复杂性 , 提高学 习算 法 的泛化 性 能 , 简 化学 习模 型 . 本 文提 出了利 用 核主成分 分 析 ( K P C A ) 对 数据 进 行 特征 提 取 , 消 除数据的相关性 和 噪声 , 提 取包含 样本数据信 息 的 主元 , 降低样本空 间的维数 , 这些新特征作为最 小二乘支持向量机 的 输入 , 用来解决时间序列 问 题 . 1 核主成分分析 基于核 函数的 P C A , 这 种方法 不是直 接计算 特征 向量 , 而是 将 其转 化为求核 矩 阵 的特征 向量 和特征值 , 这避免 了在特征 空间求特 征 向量 , 而数 据 在特征 向量 上的投 影转换 为求核 函数的 线性 组 合 , 这大大地简化了计算 . 首先 将样本 x * : k = 1 , … , n , x 无 〔 R N , 映射到 特征空 间 势( x 、 ) : k = 1 , … , 。 , x 庵 任 R N , 计算协 方 差 矩 阵〔9 一`。〕 : c 一 青豁 ( 为 ” ( 为’ T ( 1 ) 然 后通过 解特征值 问题计 算 主成 分 , 可 以 找到 几 > 0 和 v 护0 满 足 : 久v = c v = 工 习 ( 。 ( xj ) · v ) 中 ( 毛 ) ( 2 ) 进一步 , 从 式 ( 2) 可以 看 出 , 所有 特征 值非零 的特 征矢 量 必 然 映 射 数 据 的 张 集 上 , 这 可 以 表 示 为[ “ ] : v 一 艺 a : 必 ( x * ( 3 ) 收稿日期 : 2 0 0 5 一 0 2佗4 修回 B 期 : 2 00 5 一 x l 一 17 基金项目 : 国家 “ 5 6 3 , , 项 目 ( N o . 2 0 0 2 A A 4 1 2 0 1 0 一 10 ; )及北 京市 教委重点学科共建项目 作者简介 : 郭辉( 19 72 一 ) , 男 , 博士研究生 ; 刘贺平 ( 1 9 5 1一 ) , 男 , 教授 由式 (2 )左 乘 中 ( x 走 )变为 : 又( 巾 ( x * ) · V ) 二 ( 毋 ( x * ) · e V ) , k = l , 2 , , 二 , n ( 4 ) 定 义一个 , X 儿 矩 阵 K 。 , K 。 = K ( x * , xj ) = ( 中 ( x , ) · 中 ( xj ) ) ( 5 ) 现在计算 展开 系数 a * 的 特 征值 问题 仅仅 取 决 于 核函 数 , 即 : n 几a = K a ( 6 ) 其 中 , a 表示 a l , … , 。 。 组成 的一个 列 向量 . 得到 的解( 又、 , “ ` )需要 利用 久* ( 份 · 汾 ) = 1 进 行归一化 处理 . 接下 来要提 取一个测 试样本 x 的 特征 , 只需将映射 样本 。 ( x ) 投 影到 vi 上 〔’ 倒 : DOI: 10. 13374 /j . issn1001 -053x. 2006. 03. 022