·304· 北京科技大学学报 2006年第3期 s(i)=（V.Φ(x)= 2i((x)p(x)= 条件： aL =0→0= dw a,(S:) (9) K(x),i=1,,m (7) aL =0→ (10) ab 2a:=0 同时，KPCA与其他PCA算法一样，还需要 对数据在特征空间进行中心化处理，这只需用下 aL=0→a:=Yi (11) aE: 列矩阵K代替核矩阵K即可： aL=0+wTΦ(s,)+b+-=0(12） K=K-I K-In +lKln dai (8) 其中，(ln),=1/n,i,j=1,…,m 优化问题转化为求解线性问题，并且约减后 常用的核函数有多项式核函数、径向基函数、 得到： Sigmod函数.从上面方程看出，KPCA提取的最 0 (13) 大主元个数是n,如果前几个特征向量就能反映 1。 2+ 全部特征，那么样本的主元数目可以减少，往往提 取的主元数目m<n. 其中，s=[s1,…,sm],y=[y1,…,ym],a=〔a1, …,am],2=(x:)(x),i,k=1,…,m.定 2 特征提取后的最小二乘支持向量 义核函数K(s,S;)=D(s;)(S),是满足Mercer 机 条件的对称函数 最小二乘支持向量机特征提取后的回归估计 用KPCA特征提取后，得到m个主元，图1 为： 显示了特征提取后的机器学习系统基本组成部 分.训练数据的样本可以表示为：(s1,y1),(s2, y(s)=>aK(s,s)+6 (14) y2),…,(sm,ym),其中为是目标值，3：是提取后 从上面分析可以得到基于KPCA特征提取 特征选择后 的最小二乘支持向量机建模算法的具体步骤如 数据集 的数据集合 下： 步骤1选取建模数据，并进行预处理； 数据收集 KPCA 最小二乘 支持向量机 步骤2选取KPCA的核参数，并进行特征 图1特征提取的机器学习系统基本构成 选择，提取主元作为最小二乘支持向量机的输入； Fig.1 Structure of machine learning for feature extraction 步骤3应用最小二乘支持向量机建模方 的输入量，最小二乘支持向量机在优化目标中的 法，建立基于最小二乘支持向量机模型； 损失函数为误差：的二次项，使得约束条件变成 步骤4进行正则化参数及核参数的选择和 了等式约束，优化问题可以描述为求解下面问 调整； 题81： 步骤5利用所建立好的模型进行预测 3实验分析 约束条件：y:=西(s:)0+b+,i=1,,m, 3.1混沌时间序列预测 其中，西(·)：R”→R是核函数（与KPCA中 混沌是自然界与人类社会普遍存在的运动形 为同一核函数)，权矢量0∈R,误差变量：∈ 式，对于混沌动力学系统的研究已成为动力系统 R,b是偏差量，Y是可调参数.核函数可以将原 研究的中心内容之一.在实验中用Mackey--Glass 始空间中的样本映射为高维特征空间中的一个向 时间序列进行预测.Mackey-Glass时间序列由差 量，以解决线性不可分的问题，用拉格朗日法求解 分延迟方程产生，该方程定义如下： 这个优化问题9： dx(t=-b(t)+()for a dt L(w,6,e,a)=1 w+y 2 i=l (15) ∑a,(o(s;)+b+i-) 其中，a=0.2,b=0.1.当x>16.8,动力学系统 变为混沌状态，因此选择x=30.实验任务是使 其中a,i=1,…,m,是拉格朗日乘子.根据优化 用已知x=t点的值预测将来x=t+x的值.从北 京 科 技 大 学 学 报 2 0 0 6 年第 3 期 s ( i ) = ( V , 习 · 。 ( x ) ) 一 习 a : ( 中 ( x ` ) · 。 ( x ) ) - 条件 : a L 八 万一 二 U we . 卜 O, = d 公】 习 a *由 ( s * ) a : K ( x ` , x ) , 艺= 1 , … , m ( 7 ) 同时 , K P C A 与其他 P C A 算法 一 样 , 还 需 要 对数据在特征 空 间进 行中心 化 处理 , 这 只需 用 下 列 矩 阵 K 代替核矩 阵 K 即 可 : ` = ` 一 l , ` 一 l 二 + I n KI , ( 8 ) 其 中 , ( z , ) * , , = 1 / n , i , , = 1 , ’ ` ’ , m 常用 的核 函数 有多 项式核 函数 、 径 向基 函数 、 iS g m od 函数 . 从上 面 方程 看 出 , K P C A 提取 的 最 大主 元个 数 是 n , 如 果前几 个特 征 向量 就能反 映 全部特征 , 那 么 样本 的主元数 目可 以减少 , 往往提 取的主元 数 目 m < n . 2 特征提取 后的最小 二乘支持 向量 机 用 K P C A 特 征提 取后 , 得 到 m 个 主元 , 图 1 显示 了特征 提 取后 的 机 器 学 习 系 统基 本组 成 部 分 . 训 练数据 的样 本 可 以表示 为 : ( , 1 , y l ) , ( 、 2 , y Z ) , … , ( sm , y 二 ) , 其 中 y 、 是 目标值 , 、 、 是提 取后 器 一 0一 郭 一 。 器 一 。一 。 、 一 、 a L o T ~ , 、 . , . ` 八 万一 = U ~ 曰 岁 LS 艺 ] 一 D 十 夸￡ 一 y ￡ = U O C f ( 9 ) ( 1 0 ) ( 1 1 ) ( 12 ) 优化 间题转 化为求解线性 问题 , 并且 约减后 得 到 : 「0 I T 〕 , . , } - 一 v l } b } } 0 1 { , l } J = 1 1 ( 13 ) l - 一 1 一 } } _ }一 } _ _ l 、 1 -’, ! 1 一 口 + 止 1 1以 司 ` y 习 L U y 』 其 中 , : = [ 、 1 , … , 、 二 ] , y = [ 夕 , , … , 夕。 ] , a = [ 。 1 , … , a 跳 ] , 口、。 = 中 ( x 、 ) 。 ( x * ) , i , k = 1 , … , m . 定 义 核函数 K ( s * , 凡) = 中 ( s * ) 。 ( 勺 ) , 是满 足 M e r e e r 条 件的对称函数 . 最小 二乘支持 向量 机特征提 取后 的 回归估计 为 : 数据集 特征选择后 的数据集合 数据收 集 K P C A 最小二乘 支持向量机 图 1 特征提取的机器学 习系统基本构成 F ig . 1 S tr u ct u 代 o f ma e b ien l e a 口 i gn fo r fe a t衅 e x t r a e t i o n 的输入 量 . 最小二乘支持 向量 机在 优化 目标 中的 损失 函数为误 差 羲 的二 次项 , 使得 约束条件变成 了等式 约 束 , 优 化 问题 可 以 描 述 为 求解下 面 问 题 〔8 ] : m i可 ( 。 , e ) 二 告 功 T二 , 合鑫 、 约束条件 : y 、 = ② ( 、 、 ) · 。 十 b + 氨 , i = 1 , … , m . 其中 , 中 ( · ) : R ” ~ R 、 是核 函 数 (与 K P C A 中 为 同一 核 函 数 ) , 权矢 量 。 任 R hn , 误差 变 量 誉、 任 R , b 是 偏 差 量 , 7 是可调参数 . 核 函数 可 以将原 始空 间 中的样本映射为高维特征 空间 中的一个 向 量 , 以解决线性不可 分的问题 , 用 拉格 朗日法求解 这 个优 化问题9I] : , ( s ) = 乙 a 万 ( s , s * ) + 。 ( 1 4 ) i = 1 从 上 面分 析 可以 得 到 基 于 K P C A 特征 提取 的最小二 乘支 持 向量 机 建 模算法 的具 体步 骤 如 下 : 步骤 1 选取建模数据 , 并进行预处 理 ; 步骤 2 选 取 K P C A 的核 参数 , 并进行特征 选择 , 提取 主元作为最 小二乘支 持向量机的输入 ; 步骤 3 应 用 最 小 二 乘支 持 向量 机 建 模 方 法 , 建立 基于 最小二 乘支持 向量机 模型 ; 步骤 4 进行正则 化参 数及 核参数的选择和 调整 ; 步骤 5 利用所建立 好的模型进行预测 . 3 实验分析 3 . 1 混沌时间序列预测 混沌是 自然界 与人类社会普遍存在 的运 动形 式 , 对于混沌 动力 学 系 统 的研 究 已成 为 动力 系 统 研 究的中心 内容之一 在实验 中用 M ac ke y 一 lG as s 时 间序列进行预测 , M ac k ey 一 lG as S 时 间序列 由差 分延迟方程 产生 , 该方 程定 义如下 : 丝工且 _ 一 一 口 J 、 石 , 一 「 d t a x ( t 一 r d ) 1 + x 1 0 ( t 一 t d ) fo r t d ) r 阴 L ( 。 , b , e , a ) T 。 十 y 一12 乙间 其中 。 , , i = 1 ” . , 刀 2 a * ( 。 T 。 ( 、 , ) + 乙+ 宁* 一 夕、 ) 是 拉格 朗日乘子 . 根据优化 ( 15 ) 其 中 , a 二 0 . 2 , b = 0 . 1 . 当 r > 16 . 8 , 动 力 学 系统 变为混沌状 态 , 因此 选择 T = 30 . 实验 任务 是 使 用 已知 x = t 点的值预 测将来 x = t + : 的值 . 从