D01:10.13374j.isml00103x2006.08.019 第28卷第8期 北京科技大学学报 Vol.28 Na 8 2006年8月 Journal of University of Science and Technology Beijing Aug.2006 基于最小二乘支持向量机对偶优化 问题的核偏最小二乘 郭辉刘贺平王玲 北京科技大学信息工程学院，北京100083 摘要提出了一种基于对偶优化的核最小二乘(KPLS方法，把KPLS用最小二乘支持向量机的 形式表示.推导了KPLS对偶优化形式的公式，且使其具有最小二乘支持向量机的风格.在初始 空间中构造优化问题.应用核技术在特征空间中解对偶问题.这种解与非线性的KPLS具有相似 性.实验验证了这种方法的效果，表明了该方法的有效性和优越性. 关键词优化问题：偏最小二乘：最小二乘支持向量机：核偏最小二乘 分类号TP30L.5 Vapnik在1995年提出一种新型统计学习方 中设计的线性学习算法.通过引入核函数，非线 法-支持向量机(support vector machines,SVM), 性PLS可以发展为核偏最小二乘(KPLS).KPLS 支持向量机具有完备的统计学习理论基础和出色 首先把初始输入映射到高维特征空间，然后在高 的学习性能已成为机器学习界的研究热点，并在 维特征空间中计算主元匀，但是这种核方法不含 很多领域都得到了成功的应用，如人脸检测、手写 有正则化表示. 体数字识别、文本自动分类等1②.近年， 本文提出了一种简单可行的方法，把KPLS Suy Kens提出最小二乘支持向量机方法(LS- 用最小二乘支持向量机的形式表示.推导出 SV)【3」，这种方法采用最小二乘线性系统作为 KPLS对偶优化形式的公式，并且具有最小二乘 损失函数，求解过程变成求解一组等式方程，求解 支持向量机的风格.在初始空间中构造优化问 速度相对加快并应用到模式识别和非线性函数 题应用核技术在特征空间中解对偶问题这种解 估计中，取得了较好的效果 与非线性的KPLS具有相似性.过实验验证了这 偏最小二乘(PLS)是一种新型的多元统计数 种方法的可行性得到较好的效果. 据分析方法，近十几年来它的理论、方法和应用 都得到了迅速地发展，能较好地处理基于传统最 1偏最小二乘 小二乘回归方法难以解决的问题？粤.偏最小二 偏最小二乘回归适用于多自变量和多因变量 乘回归集多元线性回归分析、典型相关分析和主 系统.该方法最早应用在化学领域由Wold山和 成分分析的基本功能为一体，将建模类型的预测 Albano等人于1983年首次提出.近年来在理论、 分析方法与非模型式的数据内涵分析方法有机地 方法和应用上都取得了很大的发展.基本做法 结合起来：一方面通过数据分析寻找因变量和自 是：首先在自变量集中提取第一成分1(1是 变量之间的函数关系，建立模型进行预测：另一方 xx2,:xm的线性组合，其中x是输入向量 面，通过数据分析简化数据结构，观察变量间的相 且尽可能多地提取原自变量集中的变异信息)：同 互关系烈列.核函数方法是当前一个十分活跃的研 时在因变量集中也提取第一成分w1,w1是输出 究领域这个方法就是用非线性变换(·)将m 变量，并要求1与w1相关程度达最大.然后建 维矢量x映射到高维特征空间，在高维特征空间 立因变量y1,y2,,p,与v1的回归，如果回归 收稿日期：2005-04-25修回日期：200509-22 方程已达到满意的精度，则算法终止：否则继续对 基金项目：国家“863计划资助项目(Na.2002AA412010-10)和 第二成分的提取，直到能达到满意的精度为止. 国家科技部攻关项目(Na2003EG113016) 作者简介：郭辉(1973一）男，博士研究生：刘贺平(1951一)， 偏最小二乘是在连续线性组合(”，x)与(% 男.教授，博士 y之间寻找具有最大的协方差.可以用下面的方基于最小二乘支持向量机对偶优化 问题的核偏最小二乘 郭 辉 刘贺平 王 玲 北京科技大学信息工程学院, 北京 100083 摘 要 提出了一种基于对偶优化的核最小二乘( KPLS) 方法, 把 KPLS 用最小二乘支持向量机的 形式表示.推导了 KPLS 对偶优化形式的公式, 且使其具有最小二乘支持向量机的风格.在初始 空间中构造优化问题, 应用核技术在特征空间中解对偶问题, 这种解与非线性的 KPLS 具有相似 性.实验验证了这种方法的效果, 表明了该方法的有效性和优越性. 关键词 优化问题;偏最小二乘;最小二乘支持向量机;核偏最小二乘 分类号 TP301.5 收稿日期:2005 04 25 修回日期:2005 09 22 基金项目:国家“ 863 计划”资助项目( No .2002 AA412010-10) 和 国家科技部攻关项目( No.2003EG113016) 作者简介:郭 辉( 1973—) 男, 博士研究生;刘贺平( 1951—) , 男, 教授, 博士 Vapnik 在 1995 年提出一种新型统计学习方 法-支持向量机( support vector machines, SVM ) , 支持向量机具有完备的统计学习理论基础和出色 的学习性能, 已成为机器学习界的研究热点, 并在 很多领域都得到了成功的应用, 如人脸检测、手写 体数 字 识 别、 文 本 自 动 分 类 等[ 1 2] .近 年, SuyKens 提出最小二乘支持向量机方法( LS - SVM) [ 3 4] , 这种方法采用最小二乘线性系统作为 损失函数, 求解过程变成求解一组等式方程, 求解 速度相对加快, 并应用到模式识别和非线性函数 估计中, 取得了较好的效果. 偏最小二乘( PLS) 是一种新型的多元统计数 据分析方法, 近十几年来, 它的理论、方法和应用 都得到了迅速地发展, 能较好地处理基于传统最 小二乘回归方法难以解决的问题 [ 7 8] .偏最小二 乘回归集多元线性回归分析、典型相关分析和主 成分分析的基本功能为一体, 将建模类型的预测 分析方法与非模型式的数据内涵分析方法有机地 结合起来:一方面通过数据分析寻找因变量和自 变量之间的函数关系, 建立模型进行预测;另一方 面, 通过数据分析简化数据结构, 观察变量间的相 互关系[ 9] .核函数方法是当前一个十分活跃的研 究领域, 这个方法就是用非线性变换 ( ·) 将 m 维矢量x 映射到高维特征空间, 在高维特征空间 中设计的线性学习算法 .通过引入核函数, 非线 性PLS 可以发展为核偏最小二乘( KPLS) .KPLS 首先把初始输入映射到高维特征空间, 然后在高 维特征空间中计算主元[ 5] , 但是这种核方法不含 有正则化表示 . 本文提出了一种简单可行的方法, 把 KPLS 用最小二乘支持向量机的形式表示 .推导出 KPLS 对偶优化形式的公式, 并且具有最小二乘 支持向量机的风格.在初始空间中构造优化问 题, 应用核技术在特征空间中解对偶问题, 这种解 与非线性的 KPLS 具有相似性.过实验验证了这 种方法的可行性, 得到较好的效果 . 1 偏最小二乘 偏最小二乘回归适用于多自变量和多因变量 系统.该方法最早应用在化学领域, 由 Woldh 和 Albano 等人于 1983 年首次提出.近年来在理论 、 方法和应用上都取得了很大的发展.基本做法 是:首先在自变量集中提取第一成分 v1 ( v1 是 x 1, x2, …, xm 的线性组合, 其中 x 是输入向量, 且尽可能多地提取原自变量集中的变异信息) ;同 时在因变量集中也提取第一成分 w1, w1 是输出 变量, 并要求 v1 与 w1 相关程度达最大.然后建 立因变量 y1, y2, …, yp , 与 v1 的回归, 如果回归 方程已达到满意的精度, 则算法终止;否则继续对 第二成分的提取, 直到能达到满意的精度为止. 偏最小二乘是在连续线性组合( v, x ) 与( w, y)之间寻找具有最大的协方差 .可以用下面的方 第 28 卷 第 8 期 2006 年 8 月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol .28 No.8 Aug.2006 DOI :10.13374/j .issn1001 -053x.2006.08.019